草庐IT

yarn-site

全部标签

hadoop - NoClassDefFoundError org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManager

当我执行start-all.cmd命令时出现此错误。我也无法访问http://localhost:8088但我可以访问http://localhost:9870以下错误代码来自资源管理器命令提示符FATALresourcemanager.ResourceManager:ErrorstartingResourceManagerjava.lang.NoClassDefFoundError:org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManageratjava.lang.ClassLoade

javascript - Hadoop YARN 与 Yarn 包管理器命令冲突

我的机器上的yarn命令有问题。我的机器上安装了hadoop和yarn包管理器(Javascript)。当我运行yarninit时,它调用hadoop的YARN并响应:Error:Couldnotfindorloadmainclasspath/to/folder谁能告诉我如何区分这两个命令。我使用的是64位Windows10计算机。 最佳答案 事实证明你可以使用yarnpkg代替yarn 关于javascript-HadoopYARN与Yarn包管理器命令冲突,我们在StackOverf

hadoop - Spark 1.3.0 : Running Pi example on YARN fails

我有Hadoop2.6.0.2.2.0.0-2041和Hive0.14.0.2.2.0.0-2041使用命令构建Spark后:mvn-Pyarn-Phadoop-2.4-Dhadoop.version=2.6.0-Phive-Phive-thriftserver-DskipTestspackage我尝试使用以下命令在YARN上运行Pi示例:exportHADOOP_CONF_DIR=/etc/hadoop/conf/var/home2/test/spark/bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--maste

hadoop - 使用 Yarn 运行 spark 作业时出现错误 :com. google.common.util.concurrent.Futures.withFallback

我正在尝试使用yarn运行spark作业,但出现以下错误java.lang.NoSuchMethodError:com.google.common.util.concurrent.Futures.withFallback(Lcom/google/common/util/concurrent/ListenableFuture;Lcom/google/common/util/concurrent/FutureFallback;Ljava/util/concurrent/Executor;)Lcom/google/common/util/concurrent/ListenableFuture

java - HADOOP - 编写 YARN 应用程序

我正在阅读this我有点困惑。我是否必须始终编写Client和ApplicationMaster类才能在YARN中运行我自己的代码?例如,如果我想运行一个只生成随机数的应用程序,我是否必须将这些类包含到我的代码中,或者它可以在没有这些的情况下运行它?或者,它们是否都是不同的示例,因为我可以在其中看到2个主要类(每个类中有1个主要类)?我尝试了所有这些方法,但我仍然遇到错误-->usage[input][ouput]: 最佳答案 编写原生YARN应用程序可能有点笨拙,因为HadoopYARN项目没有更高级别的框架来帮助解决这个问题。然

hadoop - 如何在不重启集群的情况下更新 hadoop mapred-site.xml 的配置参数

我想添加/更新以下参数mapred.map.tasks.speculative.executionfalse在hadoop的mapred-site.xml中。如何在不重启集群的情况下执行此操作? 最佳答案 您可以在您的作业配置中设置每个作业。如果您想全局更改此行为,则必须重新启动集群。如果不重新启动,则无法更改它。 关于hadoop-如何在不重启集群的情况下更新hadoopmapred-site.xml的配置参数,我们在StackOverflow上找到一个类似的问题:

java - 从 Java 应用程序在 hadoop 2.2 (Yarn) 上启动 mapreduce 作业

我正在尝试从Java应用程序调用mapreduce作业。在以前的hadoop版本(1.x)中,我创建了一个Configuration对象和一个Job对象,在Configuration中设置mapred.job.tracker和fs.default.name并运行工作。现在,在hadoop2.x中,jobtracker不再存在,也不存在任何关于如何以编程方式运行MR1作业的文档。有什么想法吗?我正在寻找的是这里给出的解释:Callingamapreducejobfromasimplejavaprogram 最佳答案 MRClientA

java - 从 Hadoop YARN 启动一个 java 应用程序

我正在尝试从YARN应用程序运行java应用程序(详细信息:从YARN应用程序中的ApplicationMaster)。我发现的所有示例都在处理运行的bash脚本。我的问题似乎是我错误地将JAR文件分发到集群中的节点。我在YARN客户端中将JAR指定为本地资源。PathjarPath2=newPath("/hdfs/yarn1/08_PrimeCalculator.jar");jarPath2=fs.makeQualified(jarPath2);FileStatusjarStat2=null;try{jarStat2=fs.getFileStatus(jarPath2);log.lo

Hadoop/Yarn 分布式 shell 示例

我正在尝试运行分布式shell示例(使用Hadoop的SVNcheckout,这就是版本设置为3.0.0-SNAPSHOT的原因):yarnjarshare/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.0.0-SNAPSHOT.jar\-jarshare/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.0.0-SNAPSHOT.jar\org.apache.hadoop.yarn.applications.distributedshell.Client-s

jdbc - 在类路径中找不到 hive-site.xml

在运行giraphhiverunner时,我收到有关与hive-site.xml相关的类路径的以下错误,我已经设置了hive-env.sh和bash.bashrc,但错误仍然存​​在。任何帮助如何设置类路径和解决这个错误..??我还需要修改什么吗??我已经尝试过hivejdbcex它的执行没有任何错误..但是在使用jars的hadoop时会出错..如果有任何帮助,将会非常充实..13/01/1611:58:23WARNconf.HiveConf:hive-site.xmlnotfoundonCLASSPATHExceptioninthread"main"java.lang.NullPo