草庐IT

RunningJob

全部标签

hadoop - 如何获取 Hadoop RunningJob 的日志?

我使用JobClient在Hadoop集群上开始了一项工作,它为我提供了一个RunningJob的句柄。有没有一种轻松的方法来获取特定作业的日志输出?或者我是否必须编写一些代码来挖掘日志目录并将名称与作业ID进行匹配?或者,是否有一种方法可以重定向每个作业的日志输出,或者所有日志记录都在全局配置的Hadoop中? 最佳答案 如果您在Java代码中使用System.out.println对您想要的输出进行编码,则可以将作业的特定输出转到正在运行的作业的控制台,否则您将不得不在Hadoop日志中查找您的JobID。您还可以在作业中使用计

hadoop - 停止 MapReduce 作业,RunningJob#killJob 与 YarnClient#killApplication

在升级到MR2(YARN)之前,我将获得对RunningJob的引用并调用#killJob为了强制关闭MapReduce作业。升级到YARN后,我看到YarnClient提供了一个#killApplication方法。我应该费心从前者切换到后者吗?有什么好处吗? 最佳答案 当MapReduce在YARN模式下运行时,MapReduce客户端的方法会通过一个名为YARNRunner的包装类。作业终止请求通过YARNRunner#killApplication执行.privatevoidkillApplication(Applicati