我是YARN的新手。我运行了创建日志的oozie作业。我可以看到yarn日志yarnlogs-applicationIdapplication_123456789_12345678我想知道如何删除这些日志？我可以只删除文件以删除日志吗？ 最佳答案 作业完成后，NodeManager将为每个容器保留${yarn.nodemanager.log.retain-seconds}的日志。默认情况下为10800秒(3小时)，并在它们过期后将其删除。但是如果${yarn.log-aggregation-enable}启用后，NodeManage
我们有一个hadoop集群，配置了ClouderaCDH5.4.2发行版和Yarn公平调度程序，用于调度和管理资源。我们有18个工作节点，总计963GB主内存和288个vcores。现在的问题是我一次只能运行一个应用程序，无论该应用程序的资源需求有多小。例如这里是动态资源池状态:状态YARN使用288个vcores和942GiB内存。资源池使用此表和右侧的图表仅包含来自YARN的指标。资源池名称已分配内存已分配VCores已分配容器待处理容器根0B000用户10B001默认0B000用户222GiB11111对于用户2，即使在288个vcores和942GiB内存中只分配了22GB和1
我正在cygwin上安装hadoop。我有一台windows764位机器，我一直在关注这里的instrux:http://alans.se/blog/2010/hadoop-hbase-cygwin-windows-7-x64/#software.我在cygwin中设置了无密码SSH，并安装了hadoop0.20.2。当我发出bin/start-dfs.sh时，我得到以下信息:startingnamenode,loggingto/usr/local/hadoop-0.20.2/bin/../logs/hadoop-T3S-namenode-t3s780mon.outlocalhost:
我正在使用使用spark1.6的HDP2.4发行版，我正在尝试在yarn-cluster上提交spark作业。当我在yarn-client和本地提交作业时，它正在运行。但是当使用yarn-cluster提交作业时会出现以下错误。java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientCausedby:java.lang.NoClassDefFoundError:Couldnotinitializeclassorg.apache.d
我现在已经在独立模式下设置了hadoop和yarn。我正在尝试用yarn开始所有过程。除节点管理器外，所有进程都已启动。每次都抛出jvm错误。[root@ip-10-100-223-16hadoop-0.23.7]#sbin/yarn-daemon.shstartnodemanagerstartingnodemanager,loggingto/root/hadoop-0.23.7/logs/yarn-root-nodemanager-ip-10-100-223-16.outUnrecognizedoption:-jvmError:CouldnotcreatetheJavaVirtual
我已经配置了yarn的historyserver。但是貌似只能帮我看mapreducejobs的历史日志。我仍然看不到非mapreduce作业的日志。如何查看非mapreduce作业的历史日志？ 最佳答案 这是一项正在进行的工作。请看https://issues.apache.org/jira/browse/YARN-321和https://issues.apache.org/jira/browse/YARN-1530. 关于hadoop-如何在yarn中查看非mapreduce作业的历
输入文件大小:75GB映射器数量:2273reducer数量:1(如网页界面所示)分割数:2273输入文件数:867集群:ApacheHadoop2.4.05个节点集群，每个1TB。1个主节点和4个数据节点。已经4小时了。现在仍然只完成了12%的map。只是想知道我的集群配置是否有意义，或者配置有什么问题吗？Yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.Shuf
如果我有3个spark应用程序都使用同一个yarncluster，我应该如何设置yarn.nodemanager.resource.cpu-vcores在3个yarn-site.xml中的每一个？(每个spark应用程序都需要在类路径上有自己的yarn-site.xml)这个值在客户端yarn-site.xml中是否重要？如果是:假设集群有16个核心。每个yarn-site.xml中的值是否应该为5(总共15，为系统进程留下1个核心)？或者我应该将每个设置为15吗？(注意:Cloudera表示此处应为系统进程保留一个核心:http://blog.cloudera.com/blog/20
我们有一个由Yarn管理并运行hadoop的5节点集群1Masternamenode8vcoresand24GBmemory4个数据节点，每个节点8个vcores和24GB内存当我在ui上查看Yarn配置时，如下图中突出显示的那样，它仅使用16GB和6个vcores我们的应用程序正在使用所有16gb，因此想要增加内存，因为它可用(24-2gbforos所以可用是22gb)我需要在哪里配置这个22gb而不是16gb？根据研究发现yarn-site.xml可能是这个地方所以继续更新它并重新启动yarn但它仍然显示16gb如果社区中的任何专家能提供帮助，我们将不胜感激，因为我们是Yarn的新
我想查看我在yarn中看到的某个作业的yarnwebUI。当我做yarnapplication-list我可以看到跟踪URL.所以，我在chrome中导航到那个页面，它给了我这样的错误:The172.12.15.181pageisn'tworking.172.12.15.181didn'tsendanydata.我显然已经通过ssh进入了应该允许我看到它的机器。另外，这份工作肯定在status=RUNNING在yarn中。那么，是什么阻止我在这个url上看到yarnweb用户界面？我这样做正确吗？谢谢。 最佳答案 在yarnappl
