草庐IT

oozie-setup

全部标签

hadoop - 如何使用 oozie.launcher.action.main.class 将参数传递给 Oozie 操作?

Oozie有一个名为oozie.launcher.action.main.class的配置属性,您可以在其中为map-reduce操作(或shell操作)传入“主类”的名称,如下所示:oozie.launcher.action.main.classcom.company.MyCascadingClass但是我需要将参数传递给我的主类,但找不到实现它的方法。有什么想法吗?我问这个问题是因为我正尝试从Oozie中启动一个级联类/流,但到目前为止我尝试过的所有选项都失败了。如果有人从Oozie获得了Cascading功能,请告诉我,我会发布另一个问题来特别询问这个问题。

testing - Oozie:在本地测试工作流程

基于OoozieXML的工作流定义容易出错,并且在运行时难以调试。此外,在生产环境中运行它们存在一定风险。1)是否有一种简单的方法来测试基于oozie的工作流/应用程序;通过嵌入式服务器或其他模拟环境?2)关于oozie开发是否有任何完善的IDE/TDD习语? 最佳答案 MiniOozie可能会有所帮助。还使用-dryrun允许打印1个具体化的已解析xml并进行语法检查-http://oozie.apache.org/docs/3.3.2/DG_CommandLineTool.html#Dryrun_of_Coordinator_J

hadoop - Oozie 协调器操作从故障节点重新运行

我正在尝试使用以下命令重新运行oozie协调器操作。ooziejob-rerun-action-Doozie.wf.rerun.fail.nodes=true但它是从头开始执行Action,而不是从故障节点开始执行。协调器忽略了“oozie.wf.rerun.fail.nodes=true”选项。我想念提供一些选择吗? 最佳答案 对于OozieCoordinator重新运行,使用-failed标志重新运行在-action中传递的协调器操作的失败工作流操作。ooziejob-rerun-failed-action属性-Doozie.w

shell - 如何在oozie中执行并行作业

我在HDFS中有一个shell脚本。我已使用以下工作流程在oozie中安排此脚本。工作流程:Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]${jobTracker}${nameNode}shell.sh${input_file}HADOOP_USER_NAME=${wf:user()}/user/xxxx/shell_script/lib/shell.sh#shell.sh/user/xxxx/args/${input_file}#${input_file}工作性质nameNode=xxxxxxxxxx

java - Oozie 作业处于运行状态

我在hadoop2.2集群上安装了oozie4.0.1。之后,我尝试运行oozie作业(java操作)。一切似乎都很好:当我运行job.properties时,它会像往常一样给出作业ID。当我检查oozie控制台作业处于运行状态时。它运行java代码。然而,oozie突然停止并显示以下错误。ACTION[0000001-140526105244150-oozie-labu-W@javaMainAction]Exceptionincheck().Message[java.net.ConnectException:CallFromlabuser-VirtualBox/127.0.1.1to

hadoop - 处理 oozie 工作流中的循环

我有一个oozie用例,用于检查输入数据的可用性并根据数据的可用性触发mapreduce作业。所以我写了一个shell脚本来检查输入数据,并在oozie中为它创建了一个ssh操作,输入数据检查的重试次数和重试间隔应该是可配置的,并且在每次重试后如果数据仍然丢失我必须发送警报,在指定的重试次数后mapreduce作业可以从可用数据开始我写了一个工作流程如下:${sshUserHost}${Oozieutilsscript}${(wf:actionData('datacheck')['datatransfer']=="complete")}${(wf:actionData('datache

hadoop - Apache Oozie 加载 ShareLib 失败

我得到以下oozie.log:org.apache.oozie.service.ServiceException:E0104:Couldnotfullyinitializeservice[org.apache.oozie.service.ShareLibService],Notabletocachesharelib.AnAdminneedstoinstallthesharelibwithoozie-setup.shandissuethe'oozieadmin'CLIcommandtoupdatethesharelib我运行以下命令:oozie-setup.shsharelibcreat

hadoop - 在 HDFS 上找不到 Oozie 作业配置应用程序目录

我在我的Linux机器上安装了Cloudera的伪分布式版本,并成功运行了一些简单的MapReduce示例。然而,我正试图让Oozie工作,但在尝试执行一个简单的工作流程时收到的错误让我完全困惑:tim@phocion:~$oozieversionOozieclientbuildversion:3.1.3-cdh4.0.1根据文档将预先打包的示例复制到HDFS并执行:tim@phocion:~$ooziejob-ooziehttp://phocion:11000/oozie-config/user/tim/examples/apps/map-reduce/job.properties-

hadoop - oozie 中的配置单元操作失败(在 cloudera CDH 4.1.1 上)

当我使用oozieodCDH4.1.1运行配置单元脚本时运行失败:ErrorCodeJA018ErrorMessageorg/apache/hadoop/hive/cli/CliDriverDetailsPropertyValueExternalIdjob_201211281608_0112ExternalStatusFAILED/KILLEDDataNoneStarttimeSat,01Dec201203:02:37EndtimeSat,01Dec201203:03:07Id0000007-121128160850795-oozie-oozi-W@ExchangeRateTestRe

hadoop - Oozie 作业停留在 PREP 状态下的 START 操作

我有一个从Java客户端启动的Oozie作业,它卡在START操作中,它说它正在运行,但START节点处于PREP状态。这是为什么以及如何解决这个问题?Oozie工作流只包含一个java操作。集群上的Hadoop版本是2.4.0,集群上的Oozie是4.0.0。这是workflow.xml${jobTracker}${nameNode}mapred.job.queue.namedefaulttestingoozieclient.ClientJavafailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]这是java客户端Oo