草庐IT

apache - 缺少依赖项 hive-builtins 导致构建失败,错误代码为 Oozie 410

我尝试从源代码构建oozie但安装失败。我想安装oozie并急切地等待使用它。我在这个阶段失败了:当我从oozie-3.3.3目录中给出cmd时:bin/mkdistro.sh-DskipTests我遇到了这个错误:[INFO]BUILDFAILURE[INFO]------------------------------------------------------------------------[INFO]Totaltime:06:55min[INFO]Finishedat:2015-07-05T14:05:27+05:30[INFO]FinalMemory:39M/372M

hadoop - 具有 Hive 操作的 Oozie 工作流因权限问题而失败

我们有一个运行HDP2.2.0.0的Hadoop集群。我们有另一个运行HDP2.2.4.2的Hadoop集群。我们有一个带有Hive操作的Oozie工作流,它在第一个带有HDP2.2.0.0的集群上运行良好。但是在运行HDP2.2.4.2的第二个集群中,完全相同的工作流程失败,并出现以下错误:38098[main]INFOorg.apache.hadoop.hive.ql.Driver-Startingtask[Stage-4:MOVE]inserialmode2015-07-1516:23:22,810INFO[main]ql.Driver(Driver.java:launchTas

hadoop - 使用 Kerberos 从另一个作业的 java 操作提交 Oozie 作业

我正在尝试使用JavaClientAPI提交Oozie作业来自另一个Job的javaAction。集群正在使用Kerberos。这是我的代码://getaOozieClientforlocalOozieStringoozieUrl="http://hadooputl02.northamerica.xyz.net:11000/oozie/";AuthOozieClientwc=newAuthOozieClient(oozieUrl);wc.setDebugMode(1);//createaworkflowjobconfigurationandsettheworkflowapplicati

java - 在 java 代码中设置 job.properties 文件以启动 oozie 操作

我正在尝试使用Java代码启动oozie操作。使用命令行时,我们通过“-configjob.properties”指定属性文件,它知道选择哪个工作流程。我们如何在java代码中定义“job.properties”文件来完成相同的任务?conf.setProperty(OozieClient.APP_PATH,"hdfs://clusterdb05.com:8020/user/apps/merge-logs/workflow.xml");conf.setProperty("jobTracker","jobtracker.com:8021");conf.setProperty("nameN

java - 来自 Java 代码的工作流程暂停

我正在运行一个包含Java代码的工作流,该代码又会启动另一个oozie工作流。主要工作流程运行良好,但从Java代码启动的工作流程始终处于暂停状态。我无法恢复它,因为它的用户是mapred而不是我。知道可能是什么问题吗?这是我的主要工作流程${jobTracker}${nameNode}com.last.play.LaunchJobcurrentUser=${currentUser}这是java代码:MapcommandArgs=getActionArgs(args);PathappPropertyPath=newPath("/user/cmahajan/app.properties"

hadoop - Oozie 未注册 "mapred.input.dir.recursive"属性

我在使用Oozie时遇到问题。它不会从Oozie工作流中注册mapred.input.dir.recursive属性。这给我带来了问题,因为我的mapred.input.dir包含文件以及包含更多文件的子目录。我广泛地搜索了解决方案,但没有成功找到。有什么想法、意见、建议吗? 最佳答案 mapred.input.dir.recursive已弃用。相反,使用mapreduce.input.fileinputformat.input.dir.recursive 关于hadoop-Oozie未

hadoop - 在 oozie 工作流作业的情况下直接在 workflow.xml 中访问日期

输入数据路径包含当前日期(INPUT/YYYY/MM/DD/HH/)并且oozie作业只是工作流作业。我尝试了以下方法,但没有用。${jobTracker}${nameNode}${parse_mainClass}${inputDir}/${YEAR}/${MONTH}/${DAY}${parse_Output}通过在coordinator.xml中包含以下内容。我可以在workflow.xml中使用变量“prevDaystart”。${workflowAppUri}prevDaystart${coord:formatTime(coord:dateOffset(coord:nomina

hadoop - Apache Oozie 3.3.2 构建错误 |插件解析异常

我一直在尝试在Centos6.4上安装带有ApacheHadoop版本1.2.1的OozieMaven3.2.1已安装。在尝试使用以下命令构建发行版时,出现以下错误mkdistro.sh-e-DskipTests[警告]为org.apache.oozie:oozie-main:pom:3.3.2构建有效模型时遇到了一些问题[警告]com.atlassian.maven.plugins:maven-clover2-plugin的“build.plugins.plugin.version”丢失。@第742行,第21列[警告]org.codehaus.mojo:findbugs-maven-

hadoop - 将参数从 coordinator.xml 传递到 workflow.xml oozie

我有一个要求,我需要在oozie中获取从协调员到工作流的日期。为此,我开发了示例协调器和工作流程,如下所示。但是,启动协调器作业后,所有工作流作业都失败,错误代码为E0701。表示xml解析错误。我很努力地尝试了,我哪里做错了?我找不到问题?请帮忙。workflow.xml${jobTracker}${nameNode}Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]协调器.xml${wf_application_path}DATE${coord:formatTime(coord:nominalTime(

hadoop - oozie 在 shell 脚本中运行 Sqoop 命令

我可以在脚本中编写一个sqoop导入命令并在oozie中作为协调器工作流执行它吗?我已经厌倦了这样做,发现一个错误说sqoop命令没有找到,即使我给了sqoop执行的绝对路径script.sh如下sqoopimport--connect'jdbc:sqlserver://xx.xx.xx.xx'-username=sa-password-tablematerials--fields-terminated-by'^'----schemadbo-target-dir/user/hadoop/CFFC/oozie_materials我已经将文件放在HDFS中并为oozie指定了路径。工作流程