草庐IT

oozie-workflow

全部标签

hadoop - Oozie--失败 : SemanticException [Error 10072]: Database does not exist: testnamespace

我在使用Hive查询运行Oozie工作流时遇到错误。这是工作流程${jobTracker}${nameNode}${dir}/gsrlQery.hqlOutputDir=${jobOutput}${jobTracker}${nameNode}${dir}/nongsrlQuery.hqlOutputDir=${jobOutput}${jobTracker}${nameNode}${dir}/nongsrlRAQuery.hqlOutputDir=${jobOutput}${failureEmailToAddress}SuccessTheworkflow${wf:name()}withi

hadoop - 在 Oozie 中运行 Hive Action 时出错

我正在尝试通过Oozie运行hive操作。我的workflow.xml如下:${jobTracker}${nameNode}oozie.hive.defaults${hiveConfigDefaultXml}${hiveQuery}OUTPUT=${StagingDir}Hivefailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]这是我的job.properties文件:oozie.wf.application.path=${nameNode}/user/${user.name}/hiveQueryoozie.libpa

hadoop - 在 oozie Java Action 中传递 HBase 凭据

我需要安排一个与安全hbase交互的oozieJava操作,因此我需要为Java操作提供hbase凭据。我使用的是安全的hortonworks2.2环境,我的工作流XML如下${jobTracker}${nameNode}com.test.hbase.TestHBaseSecure${arg1}Javafailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]我还修改了oozie属性以包含HbaseCredentials类oozie.credentials.credentialclasses=hcat=org.apache.o

hadoop - 将 Spark 添加到 Oozie 共享库

默认情况下,Oozie共享库目录提供了Hive、Pig和Map-Reduce的库。如果我想在Oozie上运行Spark作业,最好将Sparklibjar添加到Oozie的共享库而不是将它们复制到应用程序的lib目录。如何将Sparklibjar(包括spark-core及其依赖项)添加到Oozie的共享库中?任何评论/回答表示赞赏。 最佳答案 Sparkaction计划与Oozie4.2.0一起发布,尽管文档似乎有点落后。在此处查看相关的JIRA:OozieJIRA-AddsparkactionexecutorCloudera的CD

xml - 如何使用具有不同参数列表的相同通用 workflow.xml fork 三个不同的作业?

我是hadoop生态系统的初学者。我正在尝试fork三个不同的作业,我想从同一个通用workflow.xml文件调用这些作业,但将不同的参数传递给每个子工作流。子工作流程:${jT}${nN}${nN}/xyz/workflow.xml${nN}/xyz/workflow.xml${nN}/xyz/workflow.xml${emailing_list}OozieworkflowFailedMap-ReduceFailed我想传递参数列表,例如source、input_path、output_path、credentials,这与所有三个进程aa、bb、cc都不同。我如何将其传播到三个

hadoop - 启动工作时 oozie 的问题

命令:ooziejob-ooziehttp://localhost:8080/oozie-config/home/hadoop/Desktop/Cloudera/oozie-2.3.0-cdh3u1/examples/apps/no-op/job.properties-run错误信息:Error:IO_ERROR:java.net.ConnectException:Connectionrefused 最佳答案 最后我配置了oozie步骤在hadoopconf的core-site.xml中添加这一行hadoop.proxyuser.x

hadoop - Oozie 字符串 wf :errorCode(String node) how to check empty?

我有一个名为“CW”的Action节点,之后我放置了一个决策节点来检查“CW”是否返回错误....我应该如何编写谓词?我试过:${wf:errorCode('CW')eq''}然后转到Y${wf:errorCode('CW')!=''}然后转到N虽然它返回空字符串(没有错误),但它总是转到N。有什么建议吗?谢谢!! 最佳答案 尝试${notemptywf:errorCode('CW')}检测故障 关于hadoop-Oozie字符串wf:errorCode(Stringnode)howto

java - Oozie:从 Oozie <java> 操作启动 Map-Reduce?

我正在尝试使用在Oozie工作流中执行Map-Reduce任务行动。O'Reilley的ApacheOozie(IslamandSrinivasan2015)指出:Whileit’snotrecommended,JavaactioncanbeusedtorunHadoopMapReducejobsbecauseMapReducejobsarenothingbutJavaprogramsafterall.ThemainclassinvokedcanbeaHadoopMapReducedriverandcancallHadoopAPIstorunaMapReducejob.Inthatmo

hadoop - OOZIE:全局作业 xml 中引用的文件中定义的属性在 workflow.xml 中不可见

我是hadoop的新手,现在我正在测试仅使用单个sqoop操作的简单工作流。如果我使用纯值而不是全局属性,它会起作用。然而,我的目标是在job-xml中引用的文件中定义一些全局属性。全局部分中的标记。经过长时间的斗争和阅读很多文章,我仍然无法让它工作。我怀疑一些简单的事情出了问题,因为我发现有文章表明此功能可以正常工作。希望你能给我一个提示。简而言之:我有属性,dbserver,dbuser和dbpassword在/user/dm/conf/environment.xml中定义我的/user/dm/jobs/sqoop-test/workflow.xml中引用了这些属性在运行时,我收到

hadoop - oozie Sqoop 操作无法将数据导入配置单元

我在执行ooziesqoop操作时遇到问题。在日志中,我可以看到sqoop能够将数据导入临时目录,然后sqoop创建配置单元脚本来导入数据。将临时数据导入配置单元时失败。在日志中我没有收到任何异常。下面是我正在使用的sqoopAction。hcat.metastore.uri${HIVE_THRIFT_URL}hcat.metastore.principal${KERBEROS_PRINCIPAL}${jobTracker}${nameNode}/tmp/hive-oozie-site.xmloozie.hive.defaults/tmp/hive-oozie-site.xmljob-