我使用Eclipse在Java中开发了一个Spark应用程序。到目前为止，我通过将master的地址配置为“local[*]”来使用独立模式。现在我想把这个应用程序部署到Yarn集群上。我找到的唯一官方文档是http://spark.apache.org/docs/latest/running-on-yarn.html与在mesos集群上或独立部署的文档(http://spark.apache.org/docs/latest/running-on-mesos.html)不同，在SparkContext中没有任何URL可用于master的地址。显然，我必须使用行命令在Yarn上部署spa
启动所有其他节点后，当我尝试启动nodemanager时，它似乎已经打开然后自动终止。像下面这样:Yitongs-MacBook-Pro:hadooptimyitong$sbin/yarn-daemon.shstartnodemanagerstartingnodemanager,loggingto/Users/timyitong/Dev/hadoop/logs/yarn-timyitong-nodemanager-Yitongs-MacBook-Pro.local.outYitongs-MacBook-Pro:hadooptimyitong$jps8981DataNode9300Jps
我有一个正在进行的Hadoop集群配置，包括四台机器，但在MapReduceWebUI中我只看到一个事件节点而不是四个，即触发MapReduce的olympus名称节点。我知道类似的questions但这样做仍然无济于事，可能是因为版本差异？我的启动似乎一切正常:deploy@olympus:~$start-dfs.sh&&start-yarn.shStartingnamenodeson[olympus]olympus:startingnamenode,loggingto/opt/dev/hadoop/2.2.0/logs/hadoop-deploy-namenode-olympus.
我已经在一个双节点集群上安装了hadoop。第一个节点“namenode”运行以下守护进程:hadoop@namenode:~$jps2916SecondaryNameNode2692NameNode3159NodeManager5834Jps2771DataNode3076ResourceManager秒节点“datanode”运行以下守护进程:hadoop@datanode:~$jps2559Jps2087DataNode2198NodeManager在我在两台机器上添加的/etc/hosts文件中:10.240.40.246namenode10.240.172.201datano
我在YARN集群上运行了一些Spark应用程序。该应用程序显示在YARNUI的“所有应用程序”页面中http://host:8088/cluster但是yarnapplication-list命令没有给出任何结果。这可能是什么原因造成的？ 最佳答案 当您使用不带“-appTypes”或“-appStates”选项的“-list”选项时，它会对“应用程序类型”和“状态”应用默认过滤(请查看下面突出显示的部分)。如果您的所有应用程序都不符合默认过滤条件，那么您将得不到任何结果。申请总数(申请类型:[]和状态:[SUBMITTED、ACC
我了解YARN和Spark。但是我想知道什么时候需要使用Yarn和Spark处理引擎。我可以识别YARN和Spark之间的区别的不同案例研究有哪些？ 最佳答案 您不能直接比较Yarn和Spark。Yarn是一个分布式容器管理器，例如Mesos，而Spark是一个数据处理工具。Spark可以在Yarn上运行，就像HadoopMapReduce可以在Yarn上运行一样。碰巧HadoopMapReduce是Yarn附带的功能，而Spark不是。如果你的意思是比较MapReduce和Spark，我建议阅读thisotheranswer.
我一直在为YARN容量调度程序使用以下配置:yarn.scheduler.capacity.maximum-am-resource-percent=0.2yarn.scheduler.capacity.maximum-applications=10000yarn.scheduler.capacity.node-locality-delay=40yarn.scheduler.capacity.root.capacity=100yarn.scheduler.capacity.root.queues=tier1,tier2yarn.scheduler.capacity.root.tier1.
我在3台装有UbuntuServer14.04的机器上运行Hadoop2.5.2一个是namenode和resourcemanager，ip是192.168.3.1其他的是运行datanode和nodemanager的slave，ip分别是192.168.3.102和192.168.3.104。我可以毫无错误地运行start-hdfs.sh和start-yarn.sh。HDFS和YARN的网站运行良好，我可以在浏览器上访问这两个网站并查看两个从站的状态。但是当我尝试通过yarnjarhadoop-mapreduce-examples-2.5.2.jarpi14在~/hadoop/sha
我正在尝试抓取网络。最好用Nutch。如果开箱即用的Hortownworks支持Nutch，则没有找到引用。有没有专门用HortonworksHDP集成NutchonYARN的？或者有人尝试在Hadoop2.x(YARN)上集成Nutch？提前致谢。 最佳答案 HDP2.3不支持开箱即用的Nutch(HDP网站上有一张图表显示支持的服务:HDP2.3What'sNew)。但是它确实支持Nutch所依赖的服务。可以定义自定义Ambari服务并将其添加到HDP2.3堆栈定义中以启用对Nutch的支持。
HadoopYARN在子VM中启动YarnChild实例以执行实际任务。这些任务通过脐带接口(interface)与其ApplicationMaster(AM)通信。我的问题是，如果AM死掉并且资源管理器(RM)无法启动它(例如，由于AM中的某些代码缺陷)，会发生什么情况？在这种情况下，子任务将(a)由于心跳而注意到AM的缺失，然后(b)转到RM以获取新的AM位置，在这种情况下它们将无法获取。那么，这些孤立任务会怎样呢？我有一个想终止它们的场景。这是默认行为吗？他们的NodeManager(NM)会终止它们吗？ 最佳答案 来自Had
