草庐IT

oozie-workflow

全部标签

java - Oozie 作业处于运行状态

我在hadoop2.2集群上安装了oozie4.0.1。之后,我尝试运行oozie作业(java操作)。一切似乎都很好:当我运行job.properties时,它会像往常一样给出作业ID。当我检查oozie控制台作业处于运行状态时。它运行java代码。然而,oozie突然停止并显示以下错误。ACTION[0000001-140526105244150-oozie-labu-W@javaMainAction]Exceptionincheck().Message[java.net.ConnectException:CallFromlabuser-VirtualBox/127.0.1.1to

hadoop - 处理 oozie 工作流中的循环

我有一个oozie用例,用于检查输入数据的可用性并根据数据的可用性触发mapreduce作业。所以我写了一个shell脚本来检查输入数据,并在oozie中为它创建了一个ssh操作,输入数据检查的重试次数和重试间隔应该是可配置的,并且在每次重试后如果数据仍然丢失我必须发送警报,在指定的重试次数后mapreduce作业可以从可用数据开始我写了一个工作流程如下:${sshUserHost}${Oozieutilsscript}${(wf:actionData('datacheck')['datatransfer']=="complete")}${(wf:actionData('datache

hadoop - Apache Oozie 加载 ShareLib 失败

我得到以下oozie.log:org.apache.oozie.service.ServiceException:E0104:Couldnotfullyinitializeservice[org.apache.oozie.service.ShareLibService],Notabletocachesharelib.AnAdminneedstoinstallthesharelibwithoozie-setup.shandissuethe'oozieadmin'CLIcommandtoupdatethesharelib我运行以下命令:oozie-setup.shsharelibcreat

hadoop - 在 HDFS 上找不到 Oozie 作业配置应用程序目录

我在我的Linux机器上安装了Cloudera的伪分布式版本,并成功运行了一些简单的MapReduce示例。然而,我正试图让Oozie工作,但在尝试执行一个简单的工作流程时收到的错误让我完全困惑:tim@phocion:~$oozieversionOozieclientbuildversion:3.1.3-cdh4.0.1根据文档将预先打包的示例复制到HDFS并执行:tim@phocion:~$ooziejob-ooziehttp://phocion:11000/oozie-config/user/tim/examples/apps/map-reduce/job.properties-

hadoop - oozie 中的配置单元操作失败(在 cloudera CDH 4.1.1 上)

当我使用oozieodCDH4.1.1运行配置单元脚本时运行失败:ErrorCodeJA018ErrorMessageorg/apache/hadoop/hive/cli/CliDriverDetailsPropertyValueExternalIdjob_201211281608_0112ExternalStatusFAILED/KILLEDDataNoneStarttimeSat,01Dec201203:02:37EndtimeSat,01Dec201203:03:07Id0000007-121128160850795-oozie-oozi-W@ExchangeRateTestRe

hadoop - Oozie 作业停留在 PREP 状态下的 START 操作

我有一个从Java客户端启动的Oozie作业,它卡在START操作中,它说它正在运行,但START节点处于PREP状态。这是为什么以及如何解决这个问题?Oozie工作流只包含一个java操作。集群上的Hadoop版本是2.4.0,集群上的Oozie是4.0.0。这是workflow.xml${jobTracker}${nameNode}mapred.job.queue.namedefaulttestingoozieclient.ClientJavafailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]这是java客户端Oo

java - Oozie 不断将旧版本的 httpcore jar 添加到类路径

我不断收到异常,因为Oozie将错误版本的httpcorejar添加到类路径。我尝试了不同的选择,例如oozie.launcher.mapreduce.task.classpath.user.precedenceoozie.launcher.mapreduce.user.classpath.firstoozie.launcher.mapreduce.task.classpath.user.precedence根本没有响应,当我使用oozie.launcher.mapreduce.user.classpath.first时,应用程序甚至无法加载一个类。在类路径中我可以看到两个版本的htt

apache - 如何在不重新启动 oozie 作业的情况下重新加载 oozie 作业配置文件

我想知道是否有一种方法可以在不重启oozie作业(协调器)的情况下重新加载oozie作业的配置文件。因为协调器实际上运行着我们的许多任务,所以有时我们可能只需要更改作业配置文件的一行,然后进行更新,而不会干扰其他任务。非常感谢。 最佳答案 一旦协调器开始运行,可以使用以下命令更新oozie协调器的属性。更新unix文件系统中的属性文件,然后提交如下。ooziejob-ooziehttp://namenodeinfo/oozie-configjob.properties-updatecoordinator_job_id请注意,所有已创

java - 无法使用 java 操作运行 oozie 工作流

我正在提交一个oozie工作流,我是在Hue中设计的,它包含一些java操作。Hue提交并尝试执行oozie工作流,我总是收到以下错误。FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.JavaMain],main()threwexception,begin>endinrange(begin,end)Causedbyjava.lang.IllegalArgumentException:begin>endinrange(begin,end):(1399708804155,1399694415805)我不知道这意味着

hadoop - 在oozie中覆盖hadoop的mapreduce.fileoutputcommitter.marksuccessfuljobs

mapreduce.fileoutputcommitter.marksuccessfuljobsfalse我想将上述属性重写为true。对于集群上的其余作业,该属性需要为false,但在我的oozie工作流中,我需要hadoop在作业完成后在输出目录中创建_SUCCESS文件。它是写入输出的工作流中的配置单元操作。请帮忙。 最佳答案 不幸的是,Hive通过设置它自己的NullOutputComitter覆盖了这个能力:conf.setOutputCommitter(NullOutputCommitter.class);看src/sh