我在我的Linux机器上安装了Cloudera的伪分布式版本,并成功运行了一些简单的MapReduce示例。然而,我正试图让Oozie工作,但在尝试执行一个简单的工作流程时收到的错误让我完全困惑:tim@phocion:~$oozieversionOozieclientbuildversion:3.1.3-cdh4.0.1根据文档将预先打包的示例复制到HDFS并执行:tim@phocion:~$ooziejob-ooziehttp://phocion:11000/oozie-config/user/tim/examples/apps/map-reduce/job.properties-
当我使用oozieodCDH4.1.1运行配置单元脚本时运行失败:ErrorCodeJA018ErrorMessageorg/apache/hadoop/hive/cli/CliDriverDetailsPropertyValueExternalIdjob_201211281608_0112ExternalStatusFAILED/KILLEDDataNoneStarttimeSat,01Dec201203:02:37EndtimeSat,01Dec201203:03:07Id0000007-121128160850795-oozie-oozi-W@ExchangeRateTestRe
我有一个从Java客户端启动的Oozie作业,它卡在START操作中,它说它正在运行,但START节点处于PREP状态。这是为什么以及如何解决这个问题?Oozie工作流只包含一个java操作。集群上的Hadoop版本是2.4.0,集群上的Oozie是4.0.0。这是workflow.xml${jobTracker}${nameNode}mapred.job.queue.namedefaulttestingoozieclient.ClientJavafailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]这是java客户端Oo
我不断收到异常,因为Oozie将错误版本的httpcorejar添加到类路径。我尝试了不同的选择,例如oozie.launcher.mapreduce.task.classpath.user.precedenceoozie.launcher.mapreduce.user.classpath.firstoozie.launcher.mapreduce.task.classpath.user.precedence根本没有响应,当我使用oozie.launcher.mapreduce.user.classpath.first时,应用程序甚至无法加载一个类。在类路径中我可以看到两个版本的htt
我想知道是否有一种方法可以在不重启oozie作业(协调器)的情况下重新加载oozie作业的配置文件。因为协调器实际上运行着我们的许多任务,所以有时我们可能只需要更改作业配置文件的一行,然后进行更新,而不会干扰其他任务。非常感谢。 最佳答案 一旦协调器开始运行,可以使用以下命令更新oozie协调器的属性。更新unix文件系统中的属性文件,然后提交如下。ooziejob-ooziehttp://namenodeinfo/oozie-configjob.properties-updatecoordinator_job_id请注意,所有已创
我正在提交一个oozie工作流,我是在Hue中设计的,它包含一些java操作。Hue提交并尝试执行oozie工作流,我总是收到以下错误。FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.JavaMain],main()threwexception,begin>endinrange(begin,end)Causedbyjava.lang.IllegalArgumentException:begin>endinrange(begin,end):(1399708804155,1399694415805)我不知道这意味着
mapreduce.fileoutputcommitter.marksuccessfuljobsfalse我想将上述属性重写为true。对于集群上的其余作业,该属性需要为false,但在我的oozie工作流中,我需要hadoop在作业完成后在输出目录中创建_SUCCESS文件。它是写入输出的工作流中的配置单元操作。请帮忙。 最佳答案 不幸的是,Hive通过设置它自己的NullOutputComitter覆盖了这个能力:conf.setOutputCommitter(NullOutputCommitter.class);看src/sh
Oozie将在其WebUI中列出所有提交的作业,包括RUNNING、KILLED、PREP等。有什么方法可以在不直接编辑MetastoreDB的情况下从oozie的WebUI中删除作业? 最佳答案 有一些属性可以在设定的天数过期后删除已完成的作业/协调器/包:http://oozie.apache.org/docs/3.3.2/oozie-default.xmloozie.services-需要包含清除服务:org.apache.oozie.service.PurgeServiceoozie.service.PurgeService
我在运行oozie协调器作业时遇到问题。下面是我的工作属性和xml文件代码。提交作业时没有错误,但作业始终处于“准备”状态。经过一定程度的等待后,我必须手动终止工作。单独执行工作流作业时,成功完成。能否请您告诉我在我的协调工作中可能出了什么问题?这是我的coordinator.xml这是我的coordinatorjob.properties谢谢,卡莱 最佳答案 当开始时间在未来时,协调器处于PREP状态。您的配置中的开始时间是2014-02-2511:31UTC,因此如果您在发布问题时提交(2014-02-2506:45UTC),它
我想要实现的是构建和安装Oozie4.2.0,这将使我能够将Spark作业提交到YARN集群。我通过执行以下命令构建发行版:oozie-4.2.0/bin/mkdistro.sh-Puber-Phadoop-2-DskipTests。这创建了oozie-4.2.0-distro.tar.gz包,我可以在里面找到oozie-4.2.0-sharelib.tar.gz。但是,许多在线教程指出我应该使用oozie-4.2.0-sharelib-yarn.tar.gz才能使用YARN。这样的文件不包含在发行包中。如何让构建过程输出YARN版本的sharelibs?我尝试继续使用非YARN版本,