草庐IT

TaskAttempts

全部标签

hadoop - 以编程方式查找正在运行的 Hadoop 作业的失败 TaskAttempts

如果我进入任务跟踪器并查看正在运行的作业,我可以轻松地看到正在运行/已完成/失败/已终止的任务尝试,并深入了解有关它们的更多信息。我也希望能够以编程方式访问此信息,但是JobClient类似乎没有任何方法可以直接访问此信息。TaskReportJobClient.getMapTaskReports()和JobClient.getReduceTaskReports()函数返回的类似乎是最接近的东西,但这似乎只有关于正在运行或已完成的任务尝试的信息。有没有办法访问有关给定任务的所有任务尝试的信息? 最佳答案 可能有更好的方法,但这是我能

java - 从 Hadoop API 获取任务的所有 TaskAttempts

我想获取有关Hadoop上作业任务的所有TaskAttempts的信息。org.apache.hadoop.mapred.TaskReport提供有关运行尝试和成功尝试的信息,但我还想获得那些失败或被杀死的尝试。有什么好的方法吗?谢谢! 最佳答案 您必须将keep.failed.task.files设置为true。 关于java-从HadoopAPI获取任务的所有TaskAttempts,我们在StackOverflow上找到一个类似的问题: https://