我最近设置了一个多节点HadoopHA(Namenode和ResourceManager)集群(3节点)，安装完成并且所有守护进程都按预期运行NN1中的守护进程:2945JournalNode3137DFSZKFailoverController6385Jps3338NodeManager22730QuorumPeerMain2747DataNode3228ResourceManager2636NameNodeNN2中的守护进程:19620Jps3894QuorumPeerMain16966ResourceManager16808NodeManager16475DataNode1657
Spark、Hadoop+Yarn上的Hbase，我想从使用SBT构建的Scala应用程序读取和写入HBase。我无法创建HBaseScala应用程序:/usr/local/sparkapps/HBaseWordCount/src/main/scala/com/mydomain/spark/hbasewordcount/HbaseWordCount.scalapackagecom.mydomain.spark.hbasewordcountimportorg.apache.spark._importorg.apache.spark.streaming._importorg.apache.
我已经安装了CDH5.5.2，它在ClouderaManager中看起来没问题，直到我单击SparkHistoryServerUI链接或YarnHistoryServerUI链接。那些不起作用。不工作，我的意思是他们根本无法从浏览器访问。我在文件spark-defaults.conf中添加了以下几行spark.eventLog.dir=hdfs://name-node-1:8020/user/spark/applicationHistoryspark.eventLog.enabled=truespark.yarn.historyServer.address=http://name-no
我的问题是关于YARN的配置。如何确定集群中需要多少个容器？换句话说，我需要考虑什么才能为每个容器设置正确的内存/CPU数量？大小调整有一些最佳实践吗？谢谢。 最佳答案 无法从hortonworks发表评论，但大小应该与cloudera相同中央处理器1个vcore专用于操作系统1个vcore到hdfs数据节点1个vcore用于节点管理器供应商代理的1个vcore(这纯粹是为了cloudera，假设有一个ambari等效项)所有其他我会分配给yarn容器。我会将vcore多人游戏分配给4内存为你的操作系统预留一些，这取决于你的操作系统
我一直在尝试使用YARN资源队列，通过在任何给定时间控制作业数量(我只有MR作业，没有其他YARN应用程序)来控制争用。我的情况是——我有一项服务可以接受来自用户的请求并运行一些报告(作为MR作业)。这些工作有时会很耗时，在高峰期，这些工作会争夺资源，过多的共享意味着没有一个工作能取得像样的进展。我正在尝试尽量减少在任何给定时间可以在队列上运行的报告数量。我可以通过将队列的最大运行应用程序设置为所需值来完成部分工作。现在，我可以将MR应用程序/作业提交到集群，并且在任何给定时间只运行(假设为“n”)作业。现在，问题是，没有办法抢占同一个队列中的任务(或者我不知道)。我希望我能够以这样的
我在hadoop集群上使用yarn运行ApacheSpark应用程序。程序完成后，有没有办法检查该程序的CPU使用情况。基本上，我想要以1或2秒为间隔的分析日志。 最佳答案 您可以使用ResourceManager的restAPIhttps://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API基本上，您需要实现一个REST客户端，每1或2秒查询一次ResourMana
我有一个由2台机器组成的集群，我正在尝试使用YARN集群管理器提交一个spark作业。基于hadoop2.6.2构建的vanillaSpark1.6.2普通Hadoop2.7.2我可以使用独立的集群管理器成功运行map-reduce作业和spark作业。但是当我用YARN运行它时，我得到了一个错误。对如何让它发挥作用有什么建议吗？如何启用更详细的日志记录？错误信息绝对不清楚为什么在hadoop/logs/userlogs/applicationXXX下没有创建日志文件？反问:IMO:hadoop日志记录和诊断不是很好。这是为什么？Hadoop似乎是一个成熟的产品。下面是输出:mike@
我正在寻找一种方法来找出杀死YARN应用程序的用户。有办法吗？ 最佳答案 与最新版本的Hadoop2.9及更高版本一样。将显示与终止应用程序的用户相关的更多详细信息。检查以下jira以获取更多信息https://issues.apache.org/jira/browse/YARN-5053 关于hadoop-如何找出谁杀死了yarn应用程序，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questi
我们目前正在我们的集群中运行大量的Oozie作业。其中许多工作都使用模板并具有子工作流程。这些作业并不总是包含大量繁重的作业，它们大多包含一个小的shell脚本。Hue作业浏览器显示大量Oozie步骤。我们现在有时会觉得我们的集群因这些作业而重载。这让我想知道，是否每一个Oozie作业都指定了一个yarn容器？如果是这样，这意味着对于2分钟的工作，我们有效使用的资源是所需资源的2-10倍。 最佳答案 自己看吧...在Hue仪表板中，单击任何已执行的工作流，选择“操作”选项卡，查看“外部ID”列=>每个job_000000_0000指
我使用ApacheAmbari在4节点上安装了ApacheHadoop。我用ApacheFlink写了一个简单的作业。我想将此作业提交到我的YARN集群。但是Flink需要在本地机器上YARN配置文件(core-site.xml、yarn-site.xml等)。所以如果我没有误解的话，有两种手动方式在ResourceManager节点上启动flink作业(以查找配置文件)从ResourceManager下载配置文件到本地。我觉得，这两种方式都不是很好。如何将作业提交到远程YARN集群。有合适的方法吗？ 最佳答案 在Hadoop/YA
