我正在尝试运行SpringBootYARN示例(Windows上为https://spring.io/guides/gs/yarn-basic/)。但是示例使用本地hadoop。在application.yml中，我更改了fsUri和resourceManagerHost以指向我的VM主机192.168....但它不起作用。当我将jars移动到VM并运行时-它有效。但是我想从我的主机运行另一个节点(在我的例子中是VM)。还有一个问题:针对另一个真正的HadoopYARN而不是针对本地运行我的应用程序的正确方法是什么？我搜索、阅读、观看了很多信息，但没有关于部署的明确解释。

我试图运行spark(1.6.0)应用程序，该应用程序使用com.databricks.spark.csvjar从eclipse在yarn客户端模式下加载csv文件。它在throw未找到CSVRelatio$annonfunc$func异常。这是通过设置解决的spark.hadoop.yarn.application.classpathSparkConf中的属性。我的问题是spark.hadoop.yarn.application.classpathproperty不是在任何spark官方文件中列出。那么我在哪里可以找到所有这些特性？我知道这是愚蠢的问题，但有很多初学者引用官方文件(h

我有一个应用程序，其ID类似于application_2019xxxxxxxxxxxxx我可以使用命令yarnapplication-statusapplication_2019xxxxxxxxxxxxx找到它的统计信息，它以键值格式输出。这里的问题是一些字段不是人类可读的格式，例如应用程序的开始时间和结束时间采用unix纪元格式。这会导致脚本自动化出现问题。任何人都可以帮助如何以人类可读的格式获取所有值吗？提前致谢:) 最佳答案 有很多方法可以将该数据转换为人类可读的格式，其中一些如下所示:mysql>selectfrom_uni

我已经启动并运行了裸机hadoop3.1.2集群，我还安装了Oozie5.1.0并成功运行了shell示例。但是当我运行Spark示例(FileCopy)时，它在oozie中指示“成功”，而文件并未真正复制，并且YARNstderr包含:Exceptioninthread"main"java.lang.NoSuchMethodError:org.apache.hadoop.yarn.api.protocolrecords.RegisterApplicationMasterResponse.getResourceProfiles()Ljava/util/Map;atorg.apache.

我启动了一个yarn应用程序，它给出的id为application_1560618551799_4465795但是，我惊讶地发现1560618551799表示SunJun1601:09:11CST2019，大约是3个月前。我一直以为id中的时间戳会落到今天，请问我能不能从id中算出应用程序什么时候开始？谢谢 最佳答案 遗憾的是，无法从应用程序ID本身推断出应用程序启动时间。SourcecodefortheApplicationId提供以下叙述:ApplicationIdrepresentsthegloballyuniqueident

在YARN中，以下守护进程负责容器和资源应用程序的利用率？节点经理工作追踪器任务跟踪器应用大师资源经理我对此感到困惑，容器由节点管理器负责，应用程序的资源利用由资源管理器完成。所以答案是1、5。如有错误请指正。请给出正确的答案选项。 最佳答案 特定节点上的所有资源利用都由节点管理器负责。资源管理器查看整个集群资源，应用程序管理器管理应用程序的进度。 关于hadoop-Yarn、节点管理器和资源管理器，我们在StackOverflow上找到一个类似的问题： ht

YARN是Hadoop的二代，不再使用jobtracker守护进程，取而代之的是资源管理器。但是为什么在mapred-site.xmlhadoop2上有一个mapreduce.jobtracker.address属性？ 最佳答案 你是对的。在YARN中，jobtracker不再存在。因此，作为客户端配置的一部分，您不必指定属性mapreduce.jobtracker.address。在YARN中，您应该在配置文件中将属性mapreduce.framework.name指定给yarn。您无需设置mapreduce.jotracker.

我使用clouderalivevm，我有一个hadoop和spral独立集群。现在我想用sparksubmit和flinkrun脚本提交我的工作。这也有效。但我的应用程序可以在hdfs中找到输入和输出文件的路径。我设置的路径如下:hdfs://127.0.0.1:50010/user/cloudera/outputs我从这个端口得到的信息:如何在java中设置hdfs的路径？？最好的问候，保罗 最佳答案 您不必设置DataNode主机的路径。在“概述”页面上，您将看到NameNode的连接信息，这也是您必须连接到的地方。

我正在运行一个hivetez作业。工作是将数据从一个文本文件格式的表加载到另一个orc格式的表中。我在用INSERTINTOTABLEORDERREQUEST_ORCPARTITION(DATE)SELECTCOLUMN1,COLUMN2,COLUMN3,DATEFROMORDERREQUEST_TXT;当我通过ambariweb控制台监控作业时，我看到YARN内存使用率为100%。能否请您建议如何保持健康的yarn内存。所有三个数据节点的平均负载；1.top-17:37:24up50days,3:47,4users,loadaverage:15.73,16.43,13.522.top

我有时通过相对较慢的连接使用spark-submit将作业提交到在Yarn上运行的Spark集群。为了避免为每个作业上传156MB的spark-assembly文件，我将配置选项spark.yarn.jar设置为HDFS上的文件。但是，这并没有避免上传，而是从HDFSSpark目录中取出程序集文件并将其复制到应用程序目录中:$:~/spark-1.4.0-bin-hadoop2.6$bin/spark-submit--classMyClass--masteryarn-cluster--confspark.yarn.jar=hdfs://node-00b/user/spark/share