草庐IT

oozie-anth-W

全部标签

java - 将值从 Java 操作传递到 Oozie 工作流中的下一个 Java 操作

我有两个用Oozieworkflow.xml编写的java操作。我想将我的第一个java操作的输出传递给下一个java操作以供重用。我知道这需要使用“oozie.action.output.properties”来完成。在第一个操作中,我设置输出参数“buildFileName”,如下所示:Filefile=newFile(System.getProperty("oozie.action.output.properties"));LOGGER.info("SystemGetProperty:"+System.getProperty("oozie.action.output.proper

date - 根据oozie中的日期创建输出文件

我正在使用oozie来运行我的map-reduce作业。我想根据日期创建输出文件。但是它将日期作为字符串并最终打印而不是将日期作为值:/user/skataria/geooutput/$(date+"%m%d%Y%H%M%S")这是oozie属性文件:nameNode=hdfs://localhost:8020jobTracker=localhost:8021date=(date+"%m%d%Y%H%M%S")oozie.wf.application.path=${nameNode}/services/advert/sidinputDir=${nameNode}/user/${user

exception - 检查 oozie 工作流状态时获取 HadoopAccessorException

WorkflowName:map-reduce-wfAppPath:hdfs://10.226.226.34:8020/user/user/examples/apps/map-reduce/workflow.xmlStatus:KILLEDRun:0User:userGroup:usersCreated:2013-01-2311:25Started:2013-01-2311:25LastModified:2013-01-2311:26Ended:2013-01-2311:26ActionIDStatusExtIDExtStatusErrCode0000002-1301231624456

hadoop - 如何在 Hadoop 1.1.1 上安装 Oozie 3.3.1?

我正在运行HadoopVer1.1.1并想在安装时安装Oozie3.3.1我收到以下错误hduseros@MT2012018:/usr/local/oozie-3.3.1$./distro/target/oozie-3.3.1-distro/oozie-3.3.1/bin/oozie-setup.sh-hadoop1.1.1/usr/local/hadoop-extjs/usr/local/oozie-3.3.1/webapp/src/main/webapp/ext-2.2.zipsettingCATALINA_OPTS="$CATALINA_OPTS-Xmx1024m"Exiting

hadoop - 在 Oozie 电子邮件操作中添加 html 标签

我想从oozie发送电子邮件,我的正文内容应以粗体显示。工作流.xml:test@gmail.comTestmailEmailsendingwithheadinglevel1text/htmlShellactionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]工作属性:OOZIE_URL=http://xxx.xxx.xx.x:11000/oozienameNode=hdfs://xxx.xxx.xx.x:8020jobTracker=xxx.xxx.xx.x:8050oozie.use.system.libpat

hadoop - 是否有必要在 oozie 操作内容中保持一定的顺序?

当我尝试使用以下代码运行ooziehive操作时${jobTracker}${nameNode}hive-site.xmlmapred.job.queue.name${queueName}hive.insert.into.multilevel.dirstruehbase.zookeeper.quorum${hbaseZooQuorum}${HIVE_QUERY_FILE}我收到以下错误:Error:E0701:E0701:XMLschemaerror,cvc-complex-type.2.4.a:Invalidcontentwasfoundstartingwithelement'pre

hadoop - 通过 HUE 创建的 Oozie 工作流的 Rest API

我已经通过Hue界面创建了一个Oozie工作流。我有几个与此相关的问题一个。我可以看到创建的工作流XML。但我没有看到job.properties文件。Job.properties存储在哪里?有RESTAPI可以提交通过编写workflow.xml和job.properties创建的Oozie作业。对于通过HUE创建的oozie工作流,RESTAPI是什么?任何样本都会有所帮助。 最佳答案 不想先提出问题再回答。但由于我不得不搜索一段时间,所以答案可能会对某人有所帮助......当使用Hue创建Oozie工作流时,工作流xml由Hu

hadoop - 检查 Oozie Hive 操作中的 EL 表达式中是否存在变量

我正在尝试为Oozie工作流创建一个通用模板,以用于运行不同的配置单元脚本。每个配置单元脚本都有自己的参数。在Oozie的HiveAction中,使用PARAM标签设置参数时,我需要检查一个变量是否存在,如果不存在,我需要将其默认为“”。我试过了,my_parameter_var=${emptymy_parameter?"":my_parameter}这仅适用于检查my_parameter是否为null或空字符串。如果变量根本不存在,则此检查失败;出现以下错误:ErrorCode:EL_ERRORErrorMessage:variable[my_parameter]cannotbere

hadoop - 无法使用 Oozie 部署 Spark 作业

我需要让Spark作业全天候运行24/7,为此我正在使用Oozie。为此,我编写了一个workflow.xml和job.properties文件,其中包含调用它所需的信息。然而,当我尝试使用此发送oozie作业时:ooziejob–config/home/oozie/tst/job.properties-run我收到以下错误消息,非常清楚:java.io.IOException:configurationisnotspecifiedatorg.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816)atorg.apach

hadoop - Oozie s3 作为作业文件夹

当从s3提供workflow.xml时,Oozie失败并出现以下错误,但从HDFS提供workflow.xml时同样有效。同样适用于早期版本的oozie,与4.3版本的oozie相比有什么变化吗?环境:HDP3.1.0Oozie4.3.1oozie.service.HadoopAccessorService.supported.filesystems=*Job.propertiesnameNode=hdfs://ambari-master-1a.xdata.com:8020jobTracker=ambari-master-2a.xdata.com:8050queue=default#O