我已经配置了yarn的historyserver。但是貌似只能帮我看mapreducejobs的历史日志。我仍然看不到非mapreduce作业的日志。如何查看非mapreduce作业的历史日志？ 最佳答案 这是一项正在进行的工作。请看https://issues.apache.org/jira/browse/YARN-321和https://issues.apache.org/jira/browse/YARN-1530. 关于hadoop-如何在yarn中查看非mapreduce作业的历
输入文件大小:75GB映射器数量:2273reducer数量:1(如网页界面所示)分割数:2273输入文件数:867集群:ApacheHadoop2.4.05个节点集群，每个1TB。1个主节点和4个数据节点。已经4小时了。现在仍然只完成了12%的map。只是想知道我的集群配置是否有意义，或者配置有什么问题吗？Yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.Shuf
如果我有3个spark应用程序都使用同一个yarncluster，我应该如何设置yarn.nodemanager.resource.cpu-vcores在3个yarn-site.xml中的每一个？(每个spark应用程序都需要在类路径上有自己的yarn-site.xml)这个值在客户端yarn-site.xml中是否重要？如果是:假设集群有16个核心。每个yarn-site.xml中的值是否应该为5(总共15，为系统进程留下1个核心)？或者我应该将每个设置为15吗？(注意:Cloudera表示此处应为系统进程保留一个核心:http://blog.cloudera.com/blog/20
我们有一个由Yarn管理并运行hadoop的5节点集群1Masternamenode8vcoresand24GBmemory4个数据节点，每个节点8个vcores和24GB内存当我在ui上查看Yarn配置时，如下图中突出显示的那样，它仅使用16GB和6个vcores我们的应用程序正在使用所有16gb，因此想要增加内存，因为它可用(24-2gbforos所以可用是22gb)我需要在哪里配置这个22gb而不是16gb？根据研究发现yarn-site.xml可能是这个地方所以继续更新它并重新启动yarn但它仍然显示16gb如果社区中的任何专家能提供帮助，我们将不胜感激，因为我们是Yarn的新
我想查看我在yarn中看到的某个作业的yarnwebUI。当我做yarnapplication-list我可以看到跟踪URL.所以，我在chrome中导航到那个页面，它给了我这样的错误:The172.12.15.181pageisn'tworking.172.12.15.181didn'tsendanydata.我显然已经通过ssh进入了应该允许我看到它的机器。另外，这份工作肯定在status=RUNNING在yarn中。那么，是什么阻止我在这个url上看到yarnweb用户界面？我这样做正确吗？谢谢。 最佳答案 在yarnappl
我一直在思考这个问题。我一直在尝试通过运行基本字数统计示例来比较hadoop1与yarn的性能。我仍然不确定如何使用同一个.jar文件在两个框架上执行。据我了解，yarn有一组不同的api，用于设置与资源管理器的连接、创建应用程序主机等。因此，如果我开发一个应用程序(.jar)，它是否可以在两个框架上运行而无需更改代码？另外，对于特定应用程序，哪些参数可能是区分hadoop与yarn的有意义的参数？ 最佳答案 好的，让我们在这里澄清一些术语。Hadoop是一个伞状系统，包含分布式存储和处理所需的各种组件。当您说hadoop1时，我相
我设置了一个简单的本地PHD3.0Hadoop集群并按照SpringYarnBasicGettingStartedguide中描述的步骤进行操作针对我的Hadoop集群运行该应用程序可以得到org.apache.hadoop.security.AccessControlException:SIMPLEauthenticationisnotenabled.Available:[TOKEN]以及YARNResourceManager中的以下堆栈跟踪:org.apache.hadoop.security.AccessControlException:SIMPLEauthenticationi
我们有cloudera5.2，用户希望开始使用Spark的全部潜力(在分布式模式下，它可以利用HDFS的数据局部性)，该服务已经安装并且可以在cloudera管理器状态(在home页面)但是当单击服务然后单击“实例”时，它只显示历史服务器角色，而在其他节点中显示网关服务器角色。根据我对Spark架构的理解，你有一个主节点和工作节点(与HDFS数据节点一起生活)所以在cloudera管理器中我尝试了“添加角色实例”，但只有“网关”角色可用。如何将Sparks工作节点(或执行程序)角色添加到具有HDFS数据节点的主机？还是没有必要(我认为由于yarn，yarn负责创建执行程序和应用程序主机
我想使用yarn跟踪我的节点的状态。所以，我做yarnnode-list查看我的节点。然后当我想列出某个状态下的所有节点时，我尝试做yarnnode-list-states.在webUI中我可以点击nodes我可以看到有时我的节点是UNHEALTHY.为什么我不能从命令行做类似的事情并做yarnnode-list-statesUNHEALTHY？或者，是否有人可以给我一个引用，告诉我哪个states我可以使用此命令yarnnode-list-states？我找不到它here 最佳答案 运行错误的命令行yarnnode-list-st
我尝试了各种命令，但在查看yarn日志时仍然存在问题，这是我查看日志所遵循的步骤[root@iop-rm1/]#yarnapplication-list17/04/0313:15:21INFOclient.RMProxy:ConnectingtoResourceManageratiop-rm1.qatc/172.18.0.4:8032Totalnumberofapplications(application-types:[]andstates:[SUBMITTED,ACCEPTED,RUNNING]):1Application-IdApplication-NameApplication
