我的场景:我有一个通过shell脚本运行的spark提交，这个spark作业会将7个表从oracle拉到hive。我有一个其他脚本，它将根据从oracle导入的数据生成.dat文件。我的问题是:在oozie中是否有任何机会，如果第一个作业成功，只有第二个作业应该运行。如果您对问题有任何疑问，请提出。提前致谢 最佳答案 您可以在Oozie中构建依赖项。请在下面找到伪代码:......${EXEC}AB${EXEC}#${EXEC}... 关于shell-我如何根据其他工作的成功编写oozi
我创建了一个oozie工作流来执行从mysql到hive系统的sqoop导入。我用于创建sqoop作业的Sqoop作业成功运行，但是当我尝试执行作业以从MySQL导入Hive时，它失败了。这里我附上了日志sqoop--hive-import(失败的sqoop操作所做的)分两步发生。首先将sqoop导入到HDFS目录(我的xml中引用了targetDir)。然后将此sqoop导入的输出移动并导入到Hive中。当我通过oozie运行我的sqoop作业时，我在targetDir中看到一个_SUCCESS文件，表明sqoop导入成功。只有后期(第2步)失败了。我以hue用户身份运行Oozi
我有一个Oozie协调器，它在启动时将其开始时间设置为365天前，然后以每天的频率运行其工作流，直到到达具有输入数据的最新日期。所以coordinator.xml看起来像这样:-130FIFO${outputPath}/${YEAR}${MONTH}${DAY}${coord:current(-1)}${appPath}myInput${coord:dataIn('myInput')}date${coord:formatTime(coord:dateOffset(coord:nominalTime(),-1,'DAY'),'yyyyMMdd')}启动时，此协调器会触发365工作流。然后
我正在使用oozie执行HDFS数据传输操作，要求是只要awsS3存储桶中有可用数据就触发oozie工作流作业。我正在考虑在我的S3存储桶中保留一个成功文件和数据文件，但我不确定如何让oozie协调器定期从S3读取以检查成功文件是否可用。如果有人可以提供相同的示例coordinator.xml，那就太好了。 最佳答案 你能试试下面的吗:-s3n://mybucket/a/b/${YEAR}/${MONTH}/${DAY}${coord:current(0)}fileDirectory${coord:dataIn('coorddata
我正在使用RESTapi将HIVE作业提交给oozie。我尝试使用postman和curl发送请求，但收到一条错误消息:“此请求需要HTTP身份验证。”我尝试在我的Clouderaquickstart和Hortonworks上运行它，但遇到了同样的错误。config.xml是:fs.default.namehdfs://localhost:8020mapred.job.trackerlocalhost:8021user.nameclouderaoozie.hive.scriptselect*fromtest;oozie.libpathhdfs://localhost:8020/user
我正在尝试运行一个简单的sparkJava应用程序。我可以在我们的集群中通过spark提交来运行应用程序我的job.properties文件如下:nameNode=hdfs://auper01-01-20-01-0.prod.vroc.com.au:8020jobTracker=auper01-02-10-01-0.prod.vroc.com.au:8050master=yarn-clusterqueueName=default#examplesRoot=examplesoozie.use.system.libpath=trueoozie.wf.application.path=${n
我正在从事一个项目，该项目需要使用任何oozie工作流和YARN中的任何作业的所有日志。我能够在hdfstmp/logs中找到yarn日志，并通过其API找到一些oozie日志文件，但我无法找到Mapreduce作业的尝试日志文件https://i.imgur.com/KL0HhVT.png你们知道这些文件保存在哪里吗？谢谢!我已经搜索过oozieapi，在它的服务器和hdfs的tmp/logs中，它似乎不在那里。 最佳答案 您可以通过两种方式获取整个YARN应用程序日志。通过YARNURL>应用程序>搜索感兴趣的应用程序ID>单击
您好，我可以在配置单元终端中运行配置单元命令，但是当我尝试通过oozie运行它时，我无法运行它，出现一些错误，日志文件如下所示2013-03-2111:55:48,973INFOActionStartXCommand:539-USER[biadmin]GROUP[-]TOKEN[]APP[hive-wf]JOB[0000005-130314190356094-oozie-biad-W]ACTION[0000005-130314190356094-oozie-biad-W@hive-node]Startaction[0000005-130314190356094-oozie-biad-W
使用的Oozie命令ooziejobs-ooziehttp://localhost:11000/oozie-localtime|grep"2013-05-08">Input.txtOozie日志(Input.txt)61-oozieDProSUCCEEDEDchroniclesusers2013-05-0804:472013-05-0804:5361-oozieDPRUNNINGchroniclesusers2013-05-0804:4761-oozieDProcessSuspendedchroniclesusers2013-05-0804:422013-05-0804:4861-oo
是否有任何EL函数可以从oozie工作流中的当前操作中获取以前的操作名称。如果EL函数不可能，那怎么可能？ 最佳答案 如果您需要它来获取错误消息，请使用wf:lastErrorNode()Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}] 关于hadoop-如何从apacheoozie中的当前操作中检索以前的操作名称？，我们在StackOverflow上找到一个类似的问题： htt
