我在YARN集群上运行了一些Spark应用程序。该应用程序显示在YARNUI的“所有应用程序”页面中http://host:8088/cluster但是yarnapplication-list命令没有给出任何结果。这可能是什么原因造成的？ 最佳答案 当您使用不带“-appTypes”或“-appStates”选项的“-list”选项时，它会对“应用程序类型”和“状态”应用默认过滤(请查看下面突出显示的部分)。如果您的所有应用程序都不符合默认过滤条件，那么您将得不到任何结果。申请总数(申请类型:[]和状态:[SUBMITTED、ACC
我了解YARN和Spark。但是我想知道什么时候需要使用Yarn和Spark处理引擎。我可以识别YARN和Spark之间的区别的不同案例研究有哪些？ 最佳答案 您不能直接比较Yarn和Spark。Yarn是一个分布式容器管理器，例如Mesos，而Spark是一个数据处理工具。Spark可以在Yarn上运行，就像HadoopMapReduce可以在Yarn上运行一样。碰巧HadoopMapReduce是Yarn附带的功能，而Spark不是。如果你的意思是比较MapReduce和Spark，我建议阅读thisotheranswer.
我一直在为YARN容量调度程序使用以下配置:yarn.scheduler.capacity.maximum-am-resource-percent=0.2yarn.scheduler.capacity.maximum-applications=10000yarn.scheduler.capacity.node-locality-delay=40yarn.scheduler.capacity.root.capacity=100yarn.scheduler.capacity.root.queues=tier1,tier2yarn.scheduler.capacity.root.tier1.
我在3台装有UbuntuServer14.04的机器上运行Hadoop2.5.2一个是namenode和resourcemanager，ip是192.168.3.1其他的是运行datanode和nodemanager的slave，ip分别是192.168.3.102和192.168.3.104。我可以毫无错误地运行start-hdfs.sh和start-yarn.sh。HDFS和YARN的网站运行良好，我可以在浏览器上访问这两个网站并查看两个从站的状态。但是当我尝试通过yarnjarhadoop-mapreduce-examples-2.5.2.jarpi14在~/hadoop/sha
我正在尝试抓取网络。最好用Nutch。如果开箱即用的Hortownworks支持Nutch，则没有找到引用。有没有专门用HortonworksHDP集成NutchonYARN的？或者有人尝试在Hadoop2.x(YARN)上集成Nutch？提前致谢。 最佳答案 HDP2.3不支持开箱即用的Nutch(HDP网站上有一张图表显示支持的服务:HDP2.3What'sNew)。但是它确实支持Nutch所依赖的服务。可以定义自定义Ambari服务并将其添加到HDP2.3堆栈定义中以启用对Nutch的支持。
HadoopYARN在子VM中启动YarnChild实例以执行实际任务。这些任务通过脐带接口(interface)与其ApplicationMaster(AM)通信。我的问题是，如果AM死掉并且资源管理器(RM)无法启动它(例如，由于AM中的某些代码缺陷)，会发生什么情况？在这种情况下，子任务将(a)由于心跳而注意到AM的缺失，然后(b)转到RM以获取新的AM位置，在这种情况下它们将无法获取。那么，这些孤立任务会怎样呢？我有一个想终止它们的场景。这是默认行为吗？他们的NodeManager(NM)会终止它们吗？ 最佳答案 来自Had
我一直在8节点集群上部署SparkPi示例。与示例相关的任务似乎没有部署到集群中的所有节点，即使集群未得到充分利用(没有其他作业在运行)。以下是我启动SparkPi示例的方式:spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modecluster--driver-memory1g--executor-memory1g--executor-cores1--num-executors7$SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar100
我有两个具有以下配置的mapr集群，cluster1:hostedonaws,3nodeswith32gofmemory/32coreseachcluster2:hostedonbare-metalservers,8nodeswith128gofmemory/32coreseach我在两个集群上通过yarn运行一段pyspark代码df=hc.sql("select*fromhive_table")df.registerTempTable("df")df.cache().count()for:100timesresult=hc.sql('selectxxxxfromdf')result
我按照本页的说明安装单机yarn集群http://hadoop.apache.org/docs/r2.0.5-alpha/hadoop-project-dist/hadoop-common/SingleCluster.html但是当我运行示例jar时，作业卡在那里，我检查资源管理器的日志，发现以下错误(第一个是客户端日志，第二个是资源管理器日志)(客户端)13/10/1817:30:36ERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:zhangj82(auth:SIMPLE)cause:java.io.IO
我尝试用以下方法启动spark-shell:spark-shell--masteryarn-client然后我进入外壳。但几秒钟后，我在shell中得到了这个:WARNReliableDeliverySupervisor:Associationwithremotesystem[akka.tcp://sparkYarnAM@10.0.2.15:38171]hasfailed,addressisnowgatedfor[5000]ms.Reasonis:[Disassociated].我在yarn日志文件中多次重复此错误。15/02/2320:37:26INFOyarn.YarnAlloca
