我试图通过bash在不同的节点中找到yarn资源管理器主机名。我发现它的唯一方法是键入任何yarn命令和grep/awk来获取它(xxx.xxx.xxx.xxx)。示例:yarnnode-list-allINFOimpl.TimelineClientImpl:Timelineserviceaddress:http://xxx.xxx.xxx.xxx:8188/ws/v1/timeline/16/03/1814:28:16INFOclient.RMProxy:ConnectingtoResourceManageratxxx.xxx.xxx.xxx/10.100.x.y:8050Total
我是Spark的新手，我正在尝试在伪分布式Hadoop系统上运行Scala作业。Hadoop2.6+Yarn+Spark1.6.1+scala2.10.6+JVM8，一切从头开始安装。我的Scala应用程序是简单的WordCount示例，我不知道错误是什么。/usr/local/sparkapps/WordCount/src/main/scala/com/mydomain/spark/wordcount/WordCount.scalapackagecom.mydomain.spark.wordcountimportorg.apache.spark.{SparkConf,SparkCon
想知道这两个参数(mapreduce.map.memory.mb和mapreduce.map.java.opts)之间的关系是什么，有时我看到人们将mapreduce.map.memory.mb设置为2048和mapreduce.map.java.opts为-Xmx4G-Xms4G-server，想知道这种情况下的上限是多少？谢谢。问候，林 最佳答案 mapreduce.map.memory.mb是map的资源限制。mapreduce.map.java.opts是映射子jvms的堆大小。Hadoop设置更像是一种资源实现/控制，而J
我是否需要将Spark与YARN结合使用才能通过HDFS实现NODELOCAL数据局部性？如果我使用Spark独立集群管理器并将我的数据分布在HDFS集群中，Spark如何知道数据位于本地节点上？ 最佳答案 YARN是一个资源管理器。它处理内存和进程，而不处理HDFS或数据局部性的工作。既然Spark可以从HDFS源中读取，并且名称节点和数据节点负责YARN之外的所有HDFSblock数据管理，那么我认为答案是否定的，您不需要YARN。但是您已经拥有HDFS，这意味着您拥有Hadoop，那么为什么不利用将Spark集成到YARN中呢
我试图了解将MR(就此而言，基于Java的Spark)作业提交到YARN集群的正确方法是什么。考虑以下情况:使用客户端机器开发代码(MR或Spark)作业，并说代码使用第3方jar。现在，当开发人员必须将作业提交到YARN集群时，将作业提交到集群的正确方法是什么，这样就不会出现未找到类的运行时异常。由于作业是作为jar文件提交的，开发人员如何“放置”第3方jar？我很难理解这一点，谁能帮助我理解这一点？ 最佳答案 您必须使用Gradle或Maven简单地构建一个“fatjar子”，它不仅包含您编译的代码，还包含所有传递依赖项。您可以
我的Spark环境Spark->2.1.0Hadoop->2.8.1Eclipse->Neon2我在yarn模式下获取spark上下文时卡住了，如何在yarn模式下获取spark上下文，请帮我解决。我的Hadoop、Yarn和Spark安装成功。$jps3200NameNode5264ExecutorLauncher5328CoarseGrainedExecutorBackend3555SecondaryNameNode5316CoarseGrainedExecutorBackend7590Jps3357DataNode4045NodeManager5118SparkSubmit372
优化部署在基于Yarn的集群上的Spark作业的最佳方法是什么？.根据配置而不是代码级别查找更改。我的问题是典型的设计级问题，应该使用什么方法来优化在SparkStreaming或SparkSQL上开发的作业。 最佳答案 有一个神话，认为大数据是神奇的，一旦部署到大数据集群，您的代码就会像梦一样工作。每个新手都有相同的信念:)还有一种误解，认为网络博客上的给定配置可以很好地解决所有问题。如果不深入了解您的集群，就没有通过Hadoop优化或调整作业的捷径。但考虑到以下方法，我确信您将能够在几个小时内优化您的工作。我更喜欢应用纯科学方法
我有一个HadoopYARN集群，包括一个资源管理器和6个节点管理器。我想在集群上同时运行Flink和Spark应用程序。所以我有两个关于YARN的主要问题:如果是Spark，我应该在资源管理器和每个节点管理器上安装和配置Spark吗？当我想在YARN上提交Spark应用程序时，除了YARNresourcemanager和nodemanagers之外，是否应该运行Spark集群(master和slaves)？我可以将YARN设置为在一些特殊的节点管理器中运行Flink吗？谢谢 最佳答案 对于第一个问题，这取决于您是否使用打包的Had
我想知道有什么方法可以让spark-submit临时更改yarn作业的配置？问题是因为我们的Sparkoveryarncluster的historyserver只允许admin访问，不方便用户检索自己job的log。我了解到mapreduce-default.xml中的“mapreduce.job.acl-view-job”可以更改特定作业的ACL。因为我正在使用spark-submit来启Action业，并且“--conf”是为spark本身保留的，但是我如何从命令行和应用程序一起设置yarn的配置？ 最佳答案 您可以修改Spar
在安全的Hadoop集群中，我尝试从YARN访问FlinkAM页面和日志，并看到以下错误:用户%remoteUser无权查看应用程序%appID看来是因为Flink这边不支持YARN中的ACL。代码是如何工作的消息来自使用ApplicationACLsManager类的hadoop/yarn/server/AppBlock类。此类执行检查并引用在RMAppManager中设置的应用程序信息:this.applicationACLsManager.addApplication(applicationId,submissionContext.getAMContainerSpec().get
