如何杀死所有处于“已接受”状态的yarn应用程序。我有超过1K个处于接受状态的进程，我如何才能将它们全部杀死。目前我正在使用这个shell脚本来终止所有已接受的作业:forappin`yarnapplication-list|awk'$6=="ACCEPTED"{print$1}'`;doyarnapplication-kill"$app";done有没有更好的方法呢？ 最佳答案 据我所知，创建小脚本是目前正确的方法，您已经这样做了。由于“-Appstates”选项仅适用于-list子命令，因此没有其他内置shell选项可用于执行此
我有多个Hadoop作业执行不同的处理。当其中一些(自定义业务异常)发生异常时，它会传播到map()方法，作业会立即终止。然而，一些作业在映射器类的setup()方法中抛出异常。当发生这种情况时，作业会挂起40分钟(我的Hadoop计时器必须设置为此)，并且根据任务重新运行策略，我必须等待4*40=160分钟。在这种特殊情况下，其中一个业务类抛出IllegalArgumentException。我怎样才能处理这个漫长的“工作卡在云端”的时期，同时保持我的计时器不变？ 最佳答案 您可以在命令行上使用hadoopjob-kill终止作业
我在oozie中使用MRAction。并且想在MR上使用oozie提供的suspend/resume功能。问题-但是，当我们在Oozie上调用“暂停”时，它不会终止hadoop作业，而只会更新oozie状态，而hadoop作业会继续运行直至完成。我希望在oozie工作流暂停时立即终止hadoop作业。我猜这不可能吧？所以，我想我可以终止oozie工作流程并重新运行它。但现在的问题是，如果我的工作流程中有3个Action节点，我不想重新运行所有这些节点。我在这里抽烟还是可以访问最后一个成功的oozie节点(这很可能存储在mysql数据库中)？对于我纵容的用例，是否有更好的方法？提前感谢您
我正在使用YARN在hadoop2集群的开发环境中执行13个表映射连接。所有表作为LEFTOUTER与主表连接。共有15个连接连接。由于大多数小表都小于200-300MB，所以我使用USING'replicated'来执行脚本代码。它执行得相当快，但卡在95-99%以上。当我检查应用程序url时，2reducers失败抛出错误为“GC开销限制超出了由ApplicationMaster杀死的容器。根据请求杀死了容器。退出代码为143容器以非零退出代码143退出。OtherreducerfailedwitherrorTimedoutafter300secsContainerkilledby
apachespark独立设置中的所有工作人员都显示以下消息。worker:执行者app-20150902151146-0001/6已完成，状态为KILLEDexitStatus1收到此消息的原因是什么。 最佳答案 根据您提供的少量信息，我们只能笼统地回答这个问题。所以我的回答是从SeanOwen的answer得到的启发。关于worker和执行者之间的关系，也来自ResourceManagementwithYARN上的Cloudera博客以及关于Clustermodeoverview的官方文档.那么让我们开始定义ApacheSpar
这个问题类似于Hadoop2.2.0Configurationdeprecation,但是那个问题的答案并没有解决问题，所以我要求这个问题的具体步骤，并提供一个具体的例子。考虑以下简短的Map-only程序:importjava.io.IOException;importjava.util.*;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.conf.*;importorg.apache.hadoop.io.*;importorg.apache.hadoop.mapreduce.*;importorg.apache.had
作为this的后续行动问题，当我尝试在我的单节点机器上使用Spark2.1.1overYarn(Hadoop2.8.0)时出现新错误。如果我使用启动SparkShellspark-shell它开始没有问题。在使用通常的start-dfs.sh和start-yarn.sh启动Hadoop之后，如果我使用spark-shell--masteryarn我收到以下错误:17/06/1012:00:07WARNNativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhe
在某些情况下我遇到了以下错误:2017-03-2311:55:10,794INFO[AsyncDispatchereventhandler]org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl:Diagnosticsreportfromattempt_1490079327128_0048_r_000003_0:ContainerkilledbytheApplicationMaster.Containerkilledonrequest.Exitcodeis143Containerexitedwithanon-zeroexi
有没有办法找到杀死Hadoop作业的用户的名字？我在集群Hadoop2.6.0节点上没有根访问权限，所以我只能使用Hadoop命令行工具并仔细检查日志。我检查了日志并尝试使用mapredjob-history[jhistfile]但找不到用户名。 最佳答案 打开网络浏览器并将以下内容粘贴到地址栏中，用运行资源管理器的机器的公共(public)DNS替换URL，确保不要键入尖括号:URL:8088/cluster/apps/KILLED您将在屏幕下方的第二列中看到用户名，其中列出了被杀死的应用程序
我关注了link用于设置TwitterSource和HDFS接收器。用于启动代理的命令:bin/flume-ngagent-nTwitterAgent-cconf-fconf/flume-conf.properties-Dflume.root.logger=DEBUG,console我成功地做到了这一点，但现在有一个问题。在停止水槽代理之前不会写入输出。一旦我杀死我的水槽代理，它就会被写入HDFS。这里有两个问题:1)如何停止flumeagent-除了CTRL+C之外还有什么办法吗。2)我可以让flume-agent随时写入HDFS，而不必杀死代理吗。注意:终止进程后，写入的文件扩展名
