自学的一部分我正在探索Oozie,我正在HortonworksSandboxVM上练习.问题是当OozieUI中的链接给出的基础作业显示成功时,Oozie工作流会出错并因此被终止。我看过this问题并已包含hive-site.xml在职位描述中,并将hive-site.xml复制到HDFS到正确的文件夹,但无济于事。此外,我仔细检查了所有URL,一切正常。我正在从命令行运行Oozie作业。我不知道从哪里开始调试或如何获得更详细的错误。以下是屏幕截图:Oozie错误底层Hive作业表示成功完成。我没有像我应该看到的那样将最终结果视为配置单元表。Map任务的日志输出如下:(49))-Suc
我有一个6节点集群。当试图运行oozie作业时,它会在6个节点中的任何一个节点中触发该作业是否有方法指定触发oozieshell操作的节点 最佳答案 你可以使用oozie的spark动作来达到这个目的。参考文献:https://oozie.apache.org/docs/4.2.0/DG_SparkActionExtension.html 关于hadoop-强制Oozie作业在特定节点上运行,我们在StackOverflow上找到一个类似的问题: https:
我正在尝试通过一些子工作流配置来运行OozieShellAction作业。在编写配置文件(workflow.xml)时,我将一些变量(来自job.properties文件)用单引号括起来,如:myVar'${myVar}'但是,在Shell脚本中,接收到的参数没有有任何单引号?有什么想法吗? 最佳答案 尝试不加引号。我的变量${myVar} 关于shell-带有单引号的OozieShellAction参数被删除,我们在StackOverflow上找到一个类似的问题:
我正在通过Oozie从shell脚本运行java程序,但出现以下错误java:commandnotfound当我从边缘节点运行shell脚本时,我没有发现任何问题,java类运行时没有任何错误,我也得到了所需的输出。但是,无法运行java命令的是oozie作业。oozie中的所有其他操作都正常执行,但是当它遇到java行时,它会抛出上述错误。我知道Hadoop集群中的所有节点都会安装Java,那么为什么会出现此错误?下面是我的shell脚本中的java命令......java-cp$LOCAL_DIR/libs/integration-tools.jarcom.audit.report
在我的ooziecoordinator.xml文件中,我将以下内容定义为输入目录:countingHourlyInputDir${coord:dataIn('hourly-input')}/*Pattern1*,${coord:dataIn('hourly-input')}/*Pattern2*这会匹配目录中文件名与“Pattern1”或“Pattern2”匹配的文件。如果该目录包含文件Pattern1文件和Pattern2文件,我的作业运行没有问题。但是,如果该目录仅包含Pattern1文件或Pattern2文件,我的工作就会失败,并且会收到如下错误:FailingOozieLaun
我尝试使用JavaAPI运行oozie工作流。但是在提交作业时,它给我一个错误代码500。请查看下面的堆栈跟踪。Exceptioninthread"main"HTTPerrorcode:500:InternalServerErroratorg.apache.oozie.client.OozieClient.handleError(OozieClient.java:445)atorg.apache.oozie.client.OozieClient$JobSubmit.call(OozieClient.java:523)atorg.apache.oozie.client.OozieClie
在Oozie中完成工作流后,有没有办法进行外部调用?阅读一些文档似乎是可能的。(Oozie可以对操作开始/结束/失败事件和工作流结束/失败事件进行HTTP回调通知。)http://archive.cloudera.com/cdh/3/oozie/WorkflowFunctionalSpec.html但不确定该怎么做,它是否可以是回调时的外部api调用。谢谢 最佳答案 在文档的下方,section5外部API调用是什么意思?它只能执行HTTP获取-因此,如果您配置servlet端点或类似的东西以在访问URL时触发外部API调用,那么您
我从ooziehive操作工作流中收到错误:FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.HiveMain],main()threwexception,org/apache/hadoop/hive/serde2/SerDejava.lang.NoClassDefFoundError:org/apache/hadoop/hive/serde2/SerDe我正在为我的配置单元表SerDe使用CDH4.2、HUE2.2和JSON-SerDe(rcongiu-hive-json-serde)。Hive查询脚本没有问题
我正在尝试设置oozie和sqoop工作流(我想将mySql数据备份到我的hdfs中)。但是当我尝试开始我的工作时,我遇到了困难。我正在使用hadoop2(工作中的hdfs节点),oozie的最新版本。我在我的电脑上安装了oozie服务器(我想在部署它之前测试它),在oozieconf/haddop-conf目录)和我在服务器上的hdfs。我做了一个基本的工作流程(测试目的,我只是想看看sqoop是否工作)是这样的:yarn.resourcemanager.address:8040hdfs://hdfs-server:54310job--listActionfailed,errorme
我用sshAction写了一个oozie工作流程,如果Action没问题,那么下一个Action可以使用EL函数读取它的标准输出${(wf:actionData('action')['property'])}。但如果操作失败,则下一个操作无法从上一个操作标准输出中读取。是否有其他方法可以从失败的操作中读取标准输出? 最佳答案 您能否提供您所指的示例workflow.xml?如果节点出现故障,那么您可以使用errorto="errorHandlingNode"/>并尝试访问错误处理节点中的标准输出。如果不是至少,您可以获得失败节点的名