我是Yarn的新手。我在我的电脑上安装了单节点HadoopYarn，一切都是默认的。我打开ResourceManager的网页，它说我的集群是8GBRAM和8vcores。但实际上，我的电脑有3GB的内存和2个内核(我在/proc/meminfo和/proc/cpuinfo中看到了信息)。我想知道为什么Yarn会显示过多的ram和vcore？大家可以给我解释一下吗？提前致谢! 最佳答案 Yarn通过以下两个参数从yarn-site.xmlconf文件获取有关可用内存和内核的信息:Maxavailablememoryoneachdat
我在ApacheZeppelin中创建并运行了一个%pyspark程序，该程序在带有yarn-client的Spark集群上运行。该程序正在从HDFS读取Dataframe中的文件，并执行一个简单的groupby命令并成功打印输出。我使用的是Zeppellin版本0.6.2和Spark2.0.0。我可以看到作业在YARN中运行(参见application_1480590511892_0007):但是当我同时检查SparkUI时，这个工作什么也没有:问题1:这份工作不应该出现在这两个窗口中吗？此外，上面SparkUI图像中已完成的应用程序是带有%python解释器的Zeppelin作业，
解决原来，我们需要将validation.jar放在hadoop/share/hadoop/common/lib/中(从https://mvnrepository.com/artifact/javax.validation/validation-api*下载)。将其与文档所说的结合起来:在Druid的索引任务json中将“mapreduce.job.classloader”设置为“true”。您将使其正常工作:)-使用Hadoop2.7.3的Druid0.9.2*)不知道为什么，我可以看到Druid将其类路径中的所有jar都上传到了Hadoop(并且那里是validation.jar)
我现在正在通过Hadoop集群运行yarn应用程序。示例yarn应用的github地址为https://github.com/blrunner/yarn-beginners-examples但是，如果我提交申请，我可以看到如下日志ERRORexamples.MyClient:应用程序未能成功完成我应该在哪里查找有关应用程序为何因某种原因终止的详细异常信息？ 最佳答案 当您从命令行启动YARN应用程序时，您通常会在命令行上获取跟踪URL。你也可以这样做:yarnapplication-list获取应用程序列表然后执行:yarnappl
我想用yarn做Spark聚类。我需要吗使用yarn配置安装hadoopmaster和slaves？分别安装hadoopmaster/slaves和yarnmaster/slaves？如果1没问题，我将使用这个docker镜像(link)。适合这个吗？ 最佳答案 为了在yarn上运行spark，使用yarn配置安装hadoopmaster和slave就足够了，但是你还需要确保你下载的spark版本支持yarn。安装后，spark应该能够访问yarn配置，并且与yarn相关的所需jar文件也在spark路径中。
我可以通过以下方式在yarn上成功运行pi.py示例:./bin/spark-submit--masteryarn--deploy-modeclusterexamples/src/main/python/pi.py.但是当我运行./bin/spark-submit--masteryarn--deploy-modeclusterexamples/src/main/python/ml/logistic_regression_with_elastic_net.py时，失败了。错误消息:容器以非零退出代码1退出通过比较这两个文件，我发现在将frompyspark.ml.classificati
我正在尝试通过yarnapplication-list连接到yarn。但我不能，因为它说:INFOclient.RMProxy:ConnectingtoResourceManagerat/0.0.0.0:8032INFOipc.Client:Retryingconnectingtoserver:0.0.0.0/0.0.0.0:8032.Alreadytried0time(s):retyrpolicyisRetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000MILLISECONDS)INFOipc.Client:R
我对在Spark-1.5.2中配置执行程序和驱动程序内存感到困惑。我的环境设置如下:3NodeMAPRCluster-EachNode:Memory256G,16CPUHadoop2.7.0Spark1.5.2-Spark-on-Yarn输入数据信息:来自Hive的460GBParquet格式表我正在使用spark-sql通过spark-on-yarn查询hive上下文，但它比Hive慢很多，而且我不确定Spark的内存配置是否正确，这些是我的配置，exportSPARK_DAEMON_MEMORY=1gexportSPARK_WORKER_MEMORY=88gspark.execut
我正在使用Hadoop2.7.3，使用Yarn进行一些mapreduce。每个容器生成的日志都是天文数字。明显使用的级别是DEBUG。我想将日志级别提高到INFO。我的安装或多或少是默认安装。我尝试修改hadoop-yarn-server-nodemanager-*.jar中的container-log4j.properties，如https://community.hortonworks.com/questions/98259/hdp-250-how-to-override-default-container-log4j-in.html中所述但这没有帮助。我的每个容器的标准输出文件都
我在HA集群中使用hadoopapache2.7.1。我需要更新两个名称节点的堆内存，所以我更新了hadoop-env.sh中的属性HADOOP_NAMENODE_OPTS为8gbexportHADOOP_NAMENODE_OPTS="-Xmx8192m$HADOOP_NAMENODE_OPTS"所以我的名称节点中的堆大小现在是8GB但是我在hadoop-env.sh中实现了参数HADOOP_HEAPSIZE我没有给它任何值(value)将HADOOP_NAMENODE_OPTS设置为8GB是否足够，还是我们也应该将HADOOP_HEAPSIZE设置为8GB？我的意思是HADOOP_N
