语境我正在Spark集群上执行Spark工具(如果有兴趣，this是Spark工具)。该工具正在从HDFS读取输入文件，并将在HDFS中生成输出文件。我有2个AzureVM，带有一个SparkMaster容器、一个Namenode容器、两个SparkWorker容器和两个Datanode容器(还有两个容器以提供该工具所需的文件，但我认为这不重要)，配备DockerSwarm。这是我用来运行Spark工具的Bash命令:/gatk/gatkBwaAndMarkDuplicatesPipelineSpark\--inputhdfs://namenode:8020/PFC_0028_SW_C
我在Spark版本2.3.0中有一个简单的SparkStreaming应用程序，它将每个处理批处理的结果放在HDFS上。我的应用程序在部署模式客户端的YARN上运行，我正在使用kerberizedhadoop集群(hadoop2.6.0-cdh5.9.3)。我在spark-submit命令中设置了--principal和--keytab。几天后，由于缓存中缺少委托(delegate)token，我的应用程序无法写入HDFS。重新启动应用程序后，流媒体工作正常，但几天后由于同样的原因再次失败。这是来自驱动程序的日志:ERRORJobScheduler:Errorrunningjobstr
我正在尝试在Yarn客户端上运行Spark作业。我有两个节点，每个节点都有以下配置。我收到“ExecutorLostFailure(执行程序1丢失)”。我已经尝试了大部分Spark调优配置。我已经减少到一个执行器丢失，因为最初我遇到了6个执行器故障。这些是我的配置(我的spark-submit):HADOOP_USER_NAME=hdfsspark-submit--classgenkvs.CreateFieldMappings--masteryarn-client--driver-memory11g--executor-memory11G--total-executor-cores16
只是在尝试将基本RDD数据集导入DynamoDB时卡住了。这是代码:importorg.apache.hadoop.mapred.JobConfvarrdd=sc.parallelize(Array(("",Map("col1"->Map("s"->"abc"),"col2"->Map("n"->"123")))))varjobConf=newJobConf(sc.hadoopConfiguration)jobConf.set("dynamodb.output.tableName","table_x")jobConf.set("mapred.output.format.class","
我设置了一个HDP集群，其中包含Spark。我还为集群启用了Kerberos，因此所有服务和用户都必须通过其主体进行身份验证。这似乎工作正常，所有服务都在运行，并且用户必须获得有效的Kerberos票证才能访问，例如YARNResourceManager的WebUI。否则他会收到这样的错误消息:但是，在创建一个kinit之后，用户可以访问该网站。我现在想要做的(我认为它已经是)，也是像那样保护SparkHistoryServerUI，以便用户必须通过Kerberos票证进行身份验证。实际上每个人都可以在没有身份验证的情况下访问UI:有没有可能做到这一点？如果是，我该如何配置？spark
我有一个接收单个事件(字符串)的CustomReceiver。在spark应用程序运行时使用接收到的单个事件从nosql读取数据并应用转换。当观察到每个批处理的处理时间大于批处理间隔我设置了这个属性。spark.streaming.backpressure.enabled=true在此之后，我希望CustomReceiver在批处理时间超过批处理窗口时不会触发和接收事件，但这种情况并没有发生，并且仍在添加积压的批处理。我在这里遗漏了什么吗？ 最佳答案 尝试检查this和this文章。 关
Hadoop2.7.3、Spark2.1.0和Hive2.1.1。我正在尝试将spark设置为hive的默认执行引擎。我将$SPARK_HOME/jars中的所有jar上传到hdfs文件夹，并将scala-library、spark-core和spark-network-commonjar复制到HIVE_HOME/lib。然后我使用以下属性配置了hive-site.xml:hive.execution.enginesparkspark.masterspark://master:7077SparkMasterURLspark.eventLog.enabledtrueSparkEventL
我们正在考虑将apachespark集成到我们的计算过程中，我们最初想使用apacheoozie和标准MR或MO(仅限map)作业。经过一些研究后，仍然存在几个问题:是否可以使用apacheoozie编排apachespark进程？如果是，怎么做？oozie是否不再必要，或者spark可以自行处理编排？(统一似乎是spark的主要关注点之一)请在回答时考虑以下场景:每4小时执行一次工作流程在特定数据可访问时执行工作流触发工作流并使用参数配置提前感谢您的回答。 最佳答案 Oozie4.2支持Spark作为操作类型，请参阅docs.您提
我正在研究Spark作为一种可能的计算工具，但无法找到我想到的用例示例。我想做的与map和reduce有点相反(至少在第一步)，这可能使Spark成为这项工作的错误工具，所以在我忽略它之前，我想在这里检查是否有人有一些好主意，如果这个可以做到。数据流看起来像这样:想法是将一个巨大的表格结构作为输入，然后将其拆分到计算节点集群(它可以作为文本文件加载，也可以在数据库中)对于此输入结构中的每一行，都会有一个逻辑来对行的内容进行分类(例如，如果它是抵押贷款、经常账户或其他东西)分类后开始计算给定类别的分期付款。现在，问题来了——我不确定Spark是否可以执行这种计算:一个输入行可能会产生数百
我正在做一个项目，必须跟踪文件转换的沿袭。假设一个名为SomeTextFile.txt的文件经过多个配置单元操作，并在最后阶段根据需要产生一些出色的结果。案例:1文件运行情况(如果我对文件应用配置单元操作)文件-->FileAfterAction1-->FileAfterAction2--->FinalResultantFile在这种情况下，我使用的是hivehook，它将与应用于File.say的中间过程相关的数据存储在一个文本文件中，lineageEngine代码从该文本文件中读取并生成该最终文件的沿袭。现在，由于技术堆栈中涉及spark，客户端也可以对文件应用spark操作。案例
