草庐IT

oozie-setup

全部标签

hadoop - Oozie 字符串 wf :errorCode(String node) how to check empty?

我有一个名为“CW”的Action节点,之后我放置了一个决策节点来检查“CW”是否返回错误....我应该如何编写谓词?我试过:${wf:errorCode('CW')eq''}然后转到Y${wf:errorCode('CW')!=''}然后转到N虽然它返回空字符串(没有错误),但它总是转到N。有什么建议吗?谢谢!! 最佳答案 尝试${notemptywf:errorCode('CW')}检测故障 关于hadoop-Oozie字符串wf:errorCode(Stringnode)howto

java - Oozie:从 Oozie <java> 操作启动 Map-Reduce?

我正在尝试使用在Oozie工作流中执行Map-Reduce任务行动。O'Reilley的ApacheOozie(IslamandSrinivasan2015)指出:Whileit’snotrecommended,JavaactioncanbeusedtorunHadoopMapReducejobsbecauseMapReducejobsarenothingbutJavaprogramsafterall.ThemainclassinvokedcanbeaHadoopMapReducedriverandcancallHadoopAPIstorunaMapReducejob.Inthatmo

hadoop - OOZIE:全局作业 xml 中引用的文件中定义的属性在 workflow.xml 中不可见

我是hadoop的新手,现在我正在测试仅使用单个sqoop操作的简单工作流。如果我使用纯值而不是全局属性,它会起作用。然而,我的目标是在job-xml中引用的文件中定义一些全局属性。全局部分中的标记。经过长时间的斗争和阅读很多文章,我仍然无法让它工作。我怀疑一些简单的事情出了问题,因为我发现有文章表明此功能可以正常工作。希望你能给我一个提示。简而言之:我有属性,dbserver,dbuser和dbpassword在/user/dm/conf/environment.xml中定义我的/user/dm/jobs/sqoop-test/workflow.xml中引用了这些属性在运行时,我收到

hadoop - oozie Sqoop 操作无法将数据导入配置单元

我在执行ooziesqoop操作时遇到问题。在日志中,我可以看到sqoop能够将数据导入临时目录,然后sqoop创建配置单元脚本来导入数据。将临时数据导入配置单元时失败。在日志中我没有收到任何异常。下面是我正在使用的sqoopAction。hcat.metastore.uri${HIVE_THRIFT_URL}hcat.metastore.principal${KERBEROS_PRINCIPAL}${jobTracker}${nameNode}/tmp/hive-oozie-site.xmloozie.hive.defaults/tmp/hive-oozie-site.xmljob-

hadoop - 通过oozie运行shell脚本

我正在尝试通过oozie执行shell脚本,但我遇到了一些问题。我有一个这样的属性文件(import.properties):startIndex=2000chunkSize=2000想法是,在每次执行中,startIndex值都会根据block大小进行更新。所以如果我执行它,它应该有startIndex=4000chunkSize=2000我已经单独测试了脚本,它运行良好。这是我的其他相关文件。工作属性nameNode=hdfs://192.168.56.101:8020jobTracker=192.168.56.101:50300wfeRoot=wfequeueName=defau

hadoop - 为 HA JobTracker 配置 oozie 工作流属性

对于Oozie工作流,您必须在工作流的属性中指定集群的JobTracker。当您只有一个JobTracker时,这很容易:jobTracker=主机名:端口当集群配置为HA(高可用性)JobTracker时,我需要能够设置我的属性文件以便能够访问任何一个JobTracker主机,而无需在JobTracker具有时更新我的​​所有属性文件故障转移到第二个节点。当通过http访问一个JobTracker时,如果它没有运行,它会重定向到另一个,但是oozie不使用http,所以没有重定向,如果属性文件指定作业,这会导致工作流失败未运行的跟踪器主机。如何配置我的属性文件以处理在HA中运行的Jo

hadoop - Hive 操作失败,主类 [org.apache.oozie.action.hadoop.HiveMain],退出代码 [40000]

我是这方面的新手,所以我完全有可能错过一些基本的东西。我正在尝试运行从协调器启动的Oozie工作流。协调器等待文件出现在目录中。工作流包含运行此脚本的Hive操作:CREATEexternalTABLEIFNOTEXISTSdaily_dump(idbigint,creationdatetimestamp,datelastupdatedtimestamp,data1string,data2string)LOCATION'/data/daily_dump';FROMdaily_dumpdINSERTOVERWRITETABLEmydata_orcPARTITION(id,datelast

hadoop - 如何使用oozie检查文件是否存在于HDFS位置?

如何使用Oozie检查HDFS位置的文件是否存在?在我的HDFS位置,我会在每天晚上11点得到一个像这样的文件test_08_01_2016.csv。我想在晚上11点15分之后检查这个文件是否存在。我可以使用Oozie协调器作业安排批处理。但是我如何验证该文件是否存在于HDFS中? 最佳答案 您可以在oozie中使用EL表达式,例如:${fs:exists('/path/test_08_01_2016.csv')}您还可以使用简单的shell脚本使用捕获输出来构建文件的名称。 关于had

hadoop - 如何在 OOZIE 工作流中使用逻辑运算符

我有一个oozie工作流程我正在使用决策控制节点在谓词中我想“&&”两个不同的条件我需要在它们之间使用“&&”来获得最终的TRUE/FALSE结果我找不到这种条件的谓词语法我正在使用这个---------我想做这个=condition1&&condition2谁能帮我解决语法问题? 最佳答案 我会用一个例子来解释这一点。假设我们有一个Java操作(我们将此操作称为getAgeInfo),它输出一个人的年龄:'person.age':AgeofthepersonAction:..........下一个Action是makeClassi

hadoop - 如何在 oozie 作业中指定多个 libpath?

我的oozie作业使用2个jarx.jar和y.jar,下面是我的job.properties文件。oozie.libpath=/liboozie.use.system.libpath=true当两个jar都位于HDFS上的相同位置/lib/x.jar和/lib/y.jar时,这非常有效现在我有2个jar放在不同的位置/lib/1/x.jar和/lib/2/y.jar。我如何重写我的代码,以便在运行mapreduce作业时同时使用这两个jar?注意:我已经引用了答案Howtospecifymultiplejarfilesinoozie但是,这并不能解决我的问题