我正在尝试在YARN上运行我的MR作业。节点3上的其中一个用户日志中存在此错误:2014-10-1000:57:16,965INFO[main]org.apache.hadoop.mapred.YarnChild:Executingwithtokens:2014-10-1000:57:16,965INFO[main]org.apache.hadoop.mapred.YarnChild:Kind:mapreduce.job,Service:job_1412895371072_0001,Ident:(org.apache.hadoop.mapreduce.security.token.Jo
这是我第一次在stackoverflow上发帖，所以如果我做错了什么，我深表歉意。我最近建立了一个新的hadoop集群，这是我第一次尝试使用Hadoop2和YARN。我目前在提交作业时遇到以下错误。java.io.IOException:CannotinitializeCluster.Pleasecheckyourconfigurationformapreduce.framework.nameandthecorrespondserveraddresses.atorg.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)
我正在尝试在YarnMapReduce中启动我的应用程序。我在4个主机(1个资源管理器和4个节点管理器)中设置了MapReduce。每个主机有2个内核和4GBRAM。当我运行我的应用程序时，它由于缺少RAM[1]而中止。我应该如何设置YarnMapReduce以使作业不会耗尽RAM？[1]我遇到的错误。2016-02-0916:01:41,607INFOorg.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl:MemoryusageofProcessTree1639f
我有一个安装了spark的docker容器，我正在尝试使用marathon将作业提交到其他集群上的yarn。docker容器具有yarn和hadoopconf目录的导出值，yarn文件还包含emrmasterip的正确地址，但我不确定它从哪里作为本地主机？ENVYARN_CONF_DIR="/opt/yarn-site.xml"ENVHADOOP_CONF_DIR="/opt/spark-2.2.0-bin-hadoop2.6"yarn.xmlyarn.resourcemanager.hostnamexx.xxx.x.xx命令:"cmd":"/opt/spark-2.2.0-bin-h
我的yarn容器内存不足:这个特定的容器运行一个Apache-Spark驱动程序节点。我不明白的部分:我将驱动程序的堆大小限制为512MB(您可以在下面的错误消息中看到这一点)。但是yarn容器提示内存>1GB(另见下面的消息)。您可以验证yarn正在启动java是否使用Xmx512m运行。我的容器设置为1GB内存，增量为0.5GB。此外，我托管yarn容器的物理机器每个都有32GB。我通过SSH连接到其中一台物理机器，看到它有很多可用内存...另一个奇怪的事情是，java没有抛出OutOfMemory异常。当我查看驱动程序日志时，我发现它最终从yarn获取了一个SIGTERM，并正常
我是YARN的新手。我运行了创建日志的oozie作业。我可以看到yarn日志yarnlogs-applicationIdapplication_123456789_12345678我想知道如何删除这些日志？我可以只删除文件以删除日志吗？ 最佳答案 作业完成后，NodeManager将为每个容器保留${yarn.nodemanager.log.retain-seconds}的日志。默认情况下为10800秒(3小时)，并在它们过期后将其删除。但是如果${yarn.log-aggregation-enable}启用后，NodeManage
我们有一个hadoop集群，配置了ClouderaCDH5.4.2发行版和Yarn公平调度程序，用于调度和管理资源。我们有18个工作节点，总计963GB主内存和288个vcores。现在的问题是我一次只能运行一个应用程序，无论该应用程序的资源需求有多小。例如这里是动态资源池状态:状态YARN使用288个vcores和942GiB内存。资源池使用此表和右侧的图表仅包含来自YARN的指标。资源池名称已分配内存已分配VCores已分配容器待处理容器根0B000用户10B001默认0B000用户222GiB11111对于用户2，即使在288个vcores和942GiB内存中只分配了22GB和1
我正在使用使用spark1.6的HDP2.4发行版，我正在尝试在yarn-cluster上提交spark作业。当我在yarn-client和本地提交作业时，它正在运行。但是当使用yarn-cluster提交作业时会出现以下错误。java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientCausedby:java.lang.NoClassDefFoundError:Couldnotinitializeclassorg.apache.d
我现在已经在独立模式下设置了hadoop和yarn。我正在尝试用yarn开始所有过程。除节点管理器外，所有进程都已启动。每次都抛出jvm错误。[root@ip-10-100-223-16hadoop-0.23.7]#sbin/yarn-daemon.shstartnodemanagerstartingnodemanager,loggingto/root/hadoop-0.23.7/logs/yarn-root-nodemanager-ip-10-100-223-16.outUnrecognizedoption:-jvmError:CouldnotcreatetheJavaVirtual
我已经配置了yarn的historyserver。但是貌似只能帮我看mapreducejobs的历史日志。我仍然看不到非mapreduce作业的日志。如何查看非mapreduce作业的历史日志？ 最佳答案 这是一项正在进行的工作。请看https://issues.apache.org/jira/browse/YARN-321和https://issues.apache.org/jira/browse/YARN-1530. 关于hadoop-如何在yarn中查看非mapreduce作业的历
