有没有人对Oozie异常/错误处理的最佳实践有什么建议？我们在Oozie工作流中有HiveActions，发现错误没有足够详细地记录。我们需要更多的堆栈跟踪和每个失败的更多上下文。有什么建议吗？提前致谢...喜满树 最佳答案 一旦oozie作业提交，Yarn将负责完成mapreduce的操作。作业提交到yarn后，检查mapredhistoryserver中的日志，或者通过oozie中的作业日志以及webUI中的错误代码列表进行检查。 关于hadoop-HiveOozie错误处理，我
我需要从RDBMS系统中读取600TB的数据，而且我必须在从午夜12点到早上7点的特定时间范围内执行此操作。由于无法在一天内摄取全部数据，因此需要分批执行。oozie是否可以在早上7点之前终止作业并在第二天重新启动失败的作业。 最佳答案 Oozie好像没有这个功能。我会尝试使用oozie-cli和cron终止并开始工作。 关于hadoop-Oozie仅在指定时间范围内运行作业，我们在StackOverflow上找到一个类似的问题： https://stacko
我一直在尝试在oozie中的一个Action失败时触发一个Action我可以使用错误节点来做到这一点，如下所示如果我的要求是在当前操作在oozie中失败时回滚，这将非常有效。我一直在寻找的是在工作流被终止的情况下触发一个步骤(如果有人进入工作流并单击HUE中的终止按钮。)当我通过HUE使用oozie时，我可以看到在workflow.xml中生成了一个名为kill的节点。我试图将我的自定义操作放在这个空间中，但每次我保存xml时，工作流都会获得默认值，如下所示Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]
我正在尝试通过oozie作业运行wordcount程序。当我像hadoopjarwordcoutjar/data.txt/out一样手动运行wordcoutjar时。它运行良好并给我输出。这是我的wordcount程序的映射器代码的详细信息。publicclassMapperWordcountextendsMapper{privatefinalstaticIntWritableone=newIntWritable(1);privateTextword=newText();publicvoidmap(LongWritablekey,Textvalue,Contextcontext)thr
我想在本地模式下运行PIG，这很容易pig-xlocalfile.pig我的要求是从OOZIE以本地模式运行PIG？有没有可能像我想的那样OOZIE会先自动启动maptask？ 最佳答案 这是可能的。当Oozie运行pig脚本时，它作为单映射map-reduce作业运行，它只运行pig脚本，而pig脚本又运行其他map-reduce作业(当pig在mapred中运行时>模式)。看来，Pig操作配置不允许在本地模式下运行，但您仍然可以使用shell操作类型在本地模式下运行Pig脚本。您只需确保您的脚本、输入和输出数据位于HDFS中。
我需要一些关于oozie启动器作业的说明。1)启动器作业是按工作流应用程序(具有多个操作)启动的还是按工作流应用程序中的每个操作启动的？2)用例:我的工作流程包含多个shellAction(在内部执行spark、hive、pigAction等)。使用shell的原因是因为可以使用自定义逻辑计算分区日期等其他参数，并使用.q文件将其传递给配置单元示异常(exception)壳文件:hive-hiveconfDATABASE_NAME=$1-hiveconfMASTER_TABLE_NAME=$2-hiveconfSOURCE_TABLE_NAME=$3-hiveconf-f$4示例.q文
在我的工作流程中，我有一个shell操作和一个HDFSfs操作ShellAction与日期相呼应。(日期=2016-10-06)我想在HDFSfsactionmkdir路径中设置上面的日期参数。以下是Action定义。我收到以下错误。EL_ERROREncountered"&",expectedoneof[,,,"true","false","null","(",")","-","not","!","empty",] 最佳答案 您需要连接两个字符串以形成完整路径。Stringconcat(Strings1,Strings2)它返回2
所以我一直在使用Ooziejavaapi，一切都很好，直到我遇到以下问题。尝试运行以下java代码时:OozieClientoc=newOozieClient(OOZIE_URL);Propertiesconf=oc.createConfiguration();conf.setProperty(OozieClient.APP_PATH,PATH_TO_WF);StringjobId=oc.run(conf);while(oc.getJobInfo(jobId).getStatus()==WorkflowJob.Status.PREP){Thread.sleep(1000);}oc.ki
我正在尝试配置Oozie以在我的hadoop-2.7.1集群上工作。一切似乎都运行良好，YARN、Hue、MapReduce和Spark。通过yarnjar...命令发送的作业正确完成，但通过CLIooziejob...-run或Hue发送一些带有oozie的作业，作业是停留在33%，节点日志显示:2015-11-0606:08:56,121INFO[main]org.apache.hadoop.yarn.client.RMProxy:ConnectingtoResourceManageratlocalhost/127.0.0.1:180302015-11-0606:08:57,165
我想使用AWSoozie在S3中移动文件。我要运行awss3mvs3://temp/*.zips3://temp/processed_files/.--recursive我如何在oozie中执行此操作？编辑12015-11-1210:18:55,758WARNShellActionExecutor:542-USER[hadoop]GROUP[-]TOKEN[]APP[rad_workflow]JOB[0000118-151029144311676-oozie-oozi-W]ACTION[0000118-151029144311676-oozie-oozi-W@sh]Launcherex
