我在从RMWebUI(hadoop2.6.0)访问ApplicationMasterUI时遇到以下问题。没有运行独立的WebProxy服务器。Proxy作为ResourceManager的一部分运行。"HTTPERROR500Problemaccessing/proxy/application_1431357703844_0004/.Reason:Connectionrefused"资源管理器日志中的日志条目:2015-05-1119:25:01,837INFOwebproxy.WebAppProxyServlet(WebAppProxyServlet.java:doGet(330))
我正在尝试使用自定义log4j.properties覆盖YARN容器日志格式，但我无法这样做。我试图覆盖hadoop-yarn-server-nodemanager.jar中的container-log4j.properties然后替换jar，但没有效果。我还尝试将我自己的container-log4j.properties文件放在/etc/hadoop/conf位置，以使其在类路径中覆盖。我正在使用HDP(Hortonworks)2.2发行版。基本上，我试图将socketappender放在container-log4j.properties中，以便分析Logstash中的容器日志。
几周以来，我尝试通过远程访问或连接到YARN集群的pysparkshell来提交python脚本。我是HADOOP世界的新手。我想要的是在外部HADOOP集群上的本地shell中提交spark脚本。我的情况:外部hadoopYARN集群。可以访问重要端口。我有Windows764位/Python2.7.964位/Spark1.4.1。HADOOP集群运行没有任何问题。我的问题:在HADOOP集群上通过远程访问提交python脚本不起作用。如果我尝试spark-submit--masteryarn-cluster--num-executors2--driver-memory512m--e
在YARN应用中，ApplicationMaster如何决定容器的大小？我知道有一些参数控制最小内存分配、vcores比率等。但是应用程序主管如何理解它需要如此多的内存和如此多的CPU来完成特定作业-MapReduce/Spark？ 最佳答案 首先让我用一两行解释YARN的工作原理，然后我们回答问题。因此，假设我们有100GB的YARN集群总内存和1GBminimum-allocation-mb，那么我们有100个最大容器。如果我们将最小分配设置为4GB，那么我们有25个最大容器。每个应用程序将获得它要求的内存，向上舍入到下一个容器
我有一个用Scala编写的Spark程序，它从HDFS读取CSV文件，计算一个新列并将其保存为Parquet文件。我在YARN集群中运行该程序。但每次我尝试启动它时，执行程序都会在某个时候因此错误而失败。您能帮我找出可能导致此错误的原因吗？从执行器上登录16/10/2715:58:10WARNstorage.BlockManager:Puttingblockrdd_12_225failedduetoanexception16/10/2715:58:10WARNstorage.BlockManager:Blockrdd_12_225couldnotberemovedasitwasnotf
恩，大家好，一个困扰我很久的问题。我可以通过这个命令以独立模式运行我的spark应用spark-submit--masterspark://fuxiuyin-virtual-machine:7077test_app.py但是此应用程序无法通过此命令在yarn集群中运行spark-submit--masteryarntest_app.py我认为我的yarn簇很健康。jps的输出是$jps8289Worker14882NameNode15475ResourceManager8134Master15751NodeManager15063DataNode17212Jps15295Seconda
我有一个应用程序可以解析vcf文件并将数据插入到hbase中。该应用程序在使用masterlocal时运行，使用apachespark没有问题，但是当我使用apachesparkyarncluster运行它时，出现以下错误:17/03/3110:36:09INFOyarn.Client:Applicationreportforapplication_1490344846293_0020(state:RUNNING)17/03/3110:36:10INFOyarn.Client:Applicationreportforapplication_1490344846293_0020(stat
我在Ubuntu16.04上以独立模式安装了hadoop2.7.3。我已经安装了Hive2.1.1并在HQL上工作。大多数查询都会触发MR作业。当我运行触发MR作业的查询时，系统会通过终止所有进程自动注销。当我检查节点管理器的日志时，我可以看到导致问题的语句是，WARNorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor:Exitcodefromcontainercontainer_1494943588964_0010_01_000001is:1432017-05-1619:48:08,263ERRORor
当我使用带有masteryarn和部署模式集群的spark-submit提交spark作业时，它不会打印/返回任何applicationId，作业完成后我必须手动检查MapReducejobHistory或sparkHistoryServer以获取作业详细信息.我的集群被许多用户使用，需要花费大量时间才能在jobHistory/HistoryServer中发现我的工作。有没有办法配置spark-submit返回applicationId？注意:我发现了许多类似的问题，但他们的解决方案使用sparkcontext.applicationId在驱动程序代码中检索applicationId，
我们通常会在“/var/log/hadoop-yarn/containers”路径下看到yarn容器日志。虽然我能够看到成功作业的日志，但看不到失败作业的日志。节点管理器日志显示日志被删除。日志:2017-07-1314:16:04,170INFOorg.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor(DeletionService#1):Deletingpath:/var/log/hadoop-yarn/containers/application_1234567890_12345/container_11
