草庐IT

oozie-anth-W

全部标签

hadoop - 带有存档操作的 Oozie 工作流

我想制作一个oozie工作流,其中成功的最后一步是“存档”结果。shell中的命令是hadooparchive-archiveName=XXX.har-p/some/random/parentdirectorToArhivepathToArchiveDestination我试过以下方法Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]我得到的错误类似于以下内容:WARNING:ExceptioninRunloopofthread:mainwithmessage:E0701:XMLschemaerror,cv

hadoop - Oozie 堆栈跟踪

我正在尝试按照中的建议使用Spark的SparkSubmitJava类将Spark作业提交给Oozielaunchingasparkprogramusingoozieworkflow但Java操作失败并显示错误消息Mainclass[org.apache.oozie.action.hadoop.JavaMain],exitcode[1]有什么方法可以访问执行错误日志/堆栈跟踪,以便我可以看到到底发生了什么?任何评论/回答表示赞赏。 最佳答案 要获取java操作日志,您可以使用oozie的Web控制台查找该操作的hadoop作业ID。

hadoop - 如何提交 oozie 协调员工作

我有一个在文件coordinator.xml中定义的oozie协调器作业,它运行一个在workflow.xml文件中定义的工作流作业。我想运行协调员作业,但是当我发出命令'ooziejob-ooziehttp://.../oozie/-config./job.properties-run'它运行工作流而不是协调器。我如何告诉它运行协调器而不是工作流? 最佳答案 我找到了解决方案,它基本上是将属性文件中的“oozie.wf.application.path”属性更改为“oozie.coord.application.path”

apache - 缺少依赖项 hive-builtins 导致构建失败,错误代码为 Oozie 410

我尝试从源代码构建oozie但安装失败。我想安装oozie并急切地等待使用它。我在这个阶段失败了:当我从oozie-3.3.3目录中给出cmd时:bin/mkdistro.sh-DskipTests我遇到了这个错误:[INFO]BUILDFAILURE[INFO]------------------------------------------------------------------------[INFO]Totaltime:06:55min[INFO]Finishedat:2015-07-05T14:05:27+05:30[INFO]FinalMemory:39M/372M

hadoop - 具有 Hive 操作的 Oozie 工作流因权限问题而失败

我们有一个运行HDP2.2.0.0的Hadoop集群。我们有另一个运行HDP2.2.4.2的Hadoop集群。我们有一个带有Hive操作的Oozie工作流,它在第一个带有HDP2.2.0.0的集群上运行良好。但是在运行HDP2.2.4.2的第二个集群中,完全相同的工作流程失败,并出现以下错误:38098[main]INFOorg.apache.hadoop.hive.ql.Driver-Startingtask[Stage-4:MOVE]inserialmode2015-07-1516:23:22,810INFO[main]ql.Driver(Driver.java:launchTas

hadoop - 使用 Kerberos 从另一个作业的 java 操作提交 Oozie 作业

我正在尝试使用JavaClientAPI提交Oozie作业来自另一个Job的javaAction。集群正在使用Kerberos。这是我的代码://getaOozieClientforlocalOozieStringoozieUrl="http://hadooputl02.northamerica.xyz.net:11000/oozie/";AuthOozieClientwc=newAuthOozieClient(oozieUrl);wc.setDebugMode(1);//createaworkflowjobconfigurationandsettheworkflowapplicati

java - 在 java 代码中设置 job.properties 文件以启动 oozie 操作

我正在尝试使用Java代码启动oozie操作。使用命令行时,我们通过“-configjob.properties”指定属性文件,它知道选择哪个工作流程。我们如何在java代码中定义“job.properties”文件来完成相同的任务?conf.setProperty(OozieClient.APP_PATH,"hdfs://clusterdb05.com:8020/user/apps/merge-logs/workflow.xml");conf.setProperty("jobTracker","jobtracker.com:8021");conf.setProperty("nameN

hadoop - Oozie 未注册 "mapred.input.dir.recursive"属性

我在使用Oozie时遇到问题。它不会从Oozie工作流中注册mapred.input.dir.recursive属性。这给我带来了问题,因为我的mapred.input.dir包含文件以及包含更多文件的子目录。我广泛地搜索了解决方案,但没有成功找到。有什么想法、意见、建议吗? 最佳答案 mapred.input.dir.recursive已弃用。相反,使用mapreduce.input.fileinputformat.input.dir.recursive 关于hadoop-Oozie未

hadoop - 在 oozie 工作流作业的情况下直接在 workflow.xml 中访问日期

输入数据路径包含当前日期(INPUT/YYYY/MM/DD/HH/)并且oozie作业只是工作流作业。我尝试了以下方法,但没有用。${jobTracker}${nameNode}${parse_mainClass}${inputDir}/${YEAR}/${MONTH}/${DAY}${parse_Output}通过在coordinator.xml中包含以下内容。我可以在workflow.xml中使用变量“prevDaystart”。${workflowAppUri}prevDaystart${coord:formatTime(coord:dateOffset(coord:nomina

hadoop - Apache Oozie 3.3.2 构建错误 |插件解析异常

我一直在尝试在Centos6.4上安装带有ApacheHadoop版本1.2.1的OozieMaven3.2.1已安装。在尝试使用以下命令构建发行版时,出现以下错误mkdistro.sh-e-DskipTests[警告]为org.apache.oozie:oozie-main:pom:3.3.2构建有效模型时遇到了一些问题[警告]com.atlassian.maven.plugins:maven-clover2-plugin的“build.plugins.plugin.version”丢失。@第742行,第21列[警告]org.codehaus.mojo:findbugs-maven-