我需要一些帮助来理解Spark如何决定分区的数量以及它们在执行程序中是如何处理的，我很抱歉这个问题，因为我知道这是一个重复的问题，但即使在阅读了很多文章之后我仍然不是能够理解我正在放置一个我目前正在处理的现实生活中的用例，以及我的spark提交配置和集群配置。我的硬件配置:3节点机器，总Vcores=30，总内存=320GB。spark-submitconfig:spark-submit\--verbose\--masteryarn\--deploy-modecluster\--num-executors1\--executor-memory3g\--executor-cores2
看来我错过了什么。我的数据上的reducer数量在HDFS中创建了那么多文件，但我的数据没有拆分成多个文件。我注意到的是，如果我对按顺序排列的键执行groupby它工作正常，就像下面的数据根据键很好地分成两个文件:1hello2bla1hi2works2end但是这个数据没有拆分:1hello3bla1hi3works3end我使用的代码对其中一个工作正常而对另一个工作不正常是InputData=LOAD'above_data.txt';GroupReq=GROUPInputDataBY$0PARALLEL2;FinalOutput=FOREACHGroupReqGENERATEf
我正在尝试在非安全模式下将cgroups与YARN2.6.0结合使用。有用如果我使用DefaultContainerExecutor就好了。但是，当我尝试使用LinuxContainerExecutor时出现错误。现在，当我执行-->$yarnnodemanager时，它失败了ExitCodeExceptionexitCode=24:File/home/hduser2/hadoop/hadoop-2.6.0/etc/hadoopmustbeownedbyroot,butisownedby1001atorg.apache.hadoop.util.Shell.runCommand(Shel
我想做的是让执行器在启动时(即在开始执行任何任务之前)启动一个程序，例如分析工具。通过这种方式，可以监视诸如执行程序的CPU使用率之类的事情。Spark是否提供这样的钩子(Hook)/回调？我用过SparkListener，但那是驱动端用的。我们对执行者有类似的东西吗？ 最佳答案 这应该可以满足您的要求。http://spark.apache.org/developer-tools.html#profiling设置yourkit以与驱动程序和从属程序(执行程序)一起工作。除非您告诉它，否则它不会开始分析。连接到master或slav
我有一个关于以集群模式在YARN上运行的ApacheSpark的问题。根据thisthread,Spark本身不必安装在集群中的每个(工作)节点上。我的问题出在SparkExecutors上:一般来说，YARN或者资源管理器应该决定资源分配。因此，SparkExecutors可以在集群中的任何(工作)节点上随机启动。但是，如果没有在任何(工作)节点上安装Spark，YARN如何启动SparkExecutors？ 最佳答案 在高层次上，当Spark应用程序在YARN上启动时，ApplicationMaster(Spark特定)将在其中
我们正在运行一个spark流应用程序，它有批处理排队..但它没有使用为其配置的所有执行程序..它被配置为使用24个执行器，但实际上它只使用了16并且批处理正在排队我们怎样才能让它使用所有24个执行器而不让它排队批处理 最佳答案 it'sconfiguredtouse24executorsbutactuallyit'sonlyusing16您的作业期望分配给它24个容器/执行器，但它只收到16个。这可能是由于以下原因:集群未配置为提供预期数量的资源资源可以是由底层集群管理器(yarn/mesos)配置的内存或vcores。您可以通过检
使用配置有Yarn的Spark(在client模式下，虽然与问题关系不大)，我发现我的一些Executors失败。Executor是一个Yarn-Container，它的日志文件位于:/var/log/hadoop-yarn/containers/containerID。容器生成的一些(关键)事件/日志渗透到驱动程序，但不是全部。据观察，当一个Executor失败时，它的logfile会在它死后立即被清除。有什么方法可以防止这些日志因调试目的而被删除吗？ 最佳答案 既然，你的yarn上有Spark，我希望这有助于收集所有日志yarn
Hadoop权威指南中提到了以下内容"Whatqualifiesasasmalljob?Bydefaultonethathaslessthan10mappers,onlyonereducer,andtheinputsizeislessthanthesizeofoneHDFSblock."但是在YARN上执行作业之前，它如何计算作业中没有映射器？在MR1中，映射器的数量取决于编号。输入split。YARN也一样吗？在YARN容器中是灵活的。那么有没有什么方法可以计算可以在给定集群上并行运行的最大映射任务数(某种严格的上限，因为它会让我粗略地了解我可以并行处理多少数据？)？
apachespark独立设置中的所有工作人员都显示以下消息。worker:执行者app-20150902151146-0001/6已完成，状态为KILLEDexitStatus1收到此消息的原因是什么。 最佳答案 根据您提供的少量信息，我们只能笼统地回答这个问题。所以我的回答是从SeanOwen的answer得到的启发。关于worker和执行者之间的关系，也来自ResourceManagementwithYARN上的Cloudera博客以及关于Clustermodeoverview的官方文档.那么让我们开始定义ApacheSpar
我正在尝试在Yarn客户端上运行Spark作业。我有两个节点，每个节点都有以下配置。我收到“ExecutorLostFailure(执行程序1丢失)”。我已经尝试了大部分Spark调优配置。我已经减少到一个执行器丢失，因为最初我遇到了6个执行器故障。这些是我的配置(我的spark-submit):HADOOP_USER_NAME=hdfsspark-submit--classgenkvs.CreateFieldMappings--masteryarn-client--driver-memory11g--executor-memory11G--total-executor-cores16
