我尝试使用JavaAPI运行oozie工作流。但是在提交作业时,它给我一个错误代码500。请查看下面的堆栈跟踪。Exceptioninthread"main"HTTPerrorcode:500:InternalServerErroratorg.apache.oozie.client.OozieClient.handleError(OozieClient.java:445)atorg.apache.oozie.client.OozieClient$JobSubmit.call(OozieClient.java:523)atorg.apache.oozie.client.OozieClie
在Oozie中完成工作流后,有没有办法进行外部调用?阅读一些文档似乎是可能的。(Oozie可以对操作开始/结束/失败事件和工作流结束/失败事件进行HTTP回调通知。)http://archive.cloudera.com/cdh/3/oozie/WorkflowFunctionalSpec.html但不确定该怎么做,它是否可以是回调时的外部api调用。谢谢 最佳答案 在文档的下方,section5外部API调用是什么意思?它只能执行HTTP获取-因此,如果您配置servlet端点或类似的东西以在访问URL时触发外部API调用,那么您
我从ooziehive操作工作流中收到错误:FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.HiveMain],main()threwexception,org/apache/hadoop/hive/serde2/SerDejava.lang.NoClassDefFoundError:org/apache/hadoop/hive/serde2/SerDe我正在为我的配置单元表SerDe使用CDH4.2、HUE2.2和JSON-SerDe(rcongiu-hive-json-serde)。Hive查询脚本没有问题
我正在尝试设置oozie和sqoop工作流(我想将mySql数据备份到我的hdfs中)。但是当我尝试开始我的工作时,我遇到了困难。我正在使用hadoop2(工作中的hdfs节点),oozie的最新版本。我在我的电脑上安装了oozie服务器(我想在部署它之前测试它),在oozieconf/haddop-conf目录)和我在服务器上的hdfs。我做了一个基本的工作流程(测试目的,我只是想看看sqoop是否工作)是这样的:yarn.resourcemanager.address:8040hdfs://hdfs-server:54310job--listActionfailed,errorme
我用sshAction写了一个oozie工作流程,如果Action没问题,那么下一个Action可以使用EL函数读取它的标准输出${(wf:actionData('action')['property'])}。但如果操作失败,则下一个操作无法从上一个操作标准输出中读取。是否有其他方法可以从失败的操作中读取标准输出? 最佳答案 您能否提供您所指的示例workflow.xml?如果节点出现故障,那么您可以使用errorto="errorHandlingNode"/>并尝试访问错误处理节点中的标准输出。如果不是至少,您可以获得失败节点的名
我是Oozie的新手,我正在尝试安装和设置Oozie。我按照Apache站点上提供的说明进行操作:“http://oozie.apache.org/docs/3.3.2/DG_QuickStart.html#Building_Oozie”。我已经能够完成以下内容:构建分发执行./mkdistro.sh-DskipTests。下载ExtJs2.2并分解到文件夹libext我已经在AWS实例中安装了Hadoop1.1.2并在Ubuntu12.04上运行。在我学习的过程中,集群被设置为伪分布式使用以下配置更新了core-site.xml:hadoop.proxyuser.ubuntu.hos
我是oozie的新手,遇到的问题很少。1)我试图在oozie中嵌入一个pigAction,它有一个python脚本导入。我已将jython.jar文件放在lib路径中,并在将采用pythonUDF的pig脚本中导入。我似乎没有得到这个工作。.py文件未被拾取。怎么办?2)我有一个pigcassandra集成,在其中我使用cql使用pig从cassandra获取数据并进行一些基本转换。在CLI中,我能够使它正常工作。但在oozie方面我不是。我似乎没有找到在oozie中执行此操作的解决方案(配置和其他)。谁能帮我解决这个问题?提前致谢。 最佳答案
我有一个pig脚本,它将从cassandra获取所有数据,进行少量转换并存储到hdfs上。在pig的grunt控制台执行时,cassandra数据量大,耗时将近30分钟。但是当我使用oozie工作流执行相同的操作时,它执行但需要很长时间,将近一个半小时。当我检查hadoop日志时,这就是它所说的。2013-11-1901:20:00,871[main]INFOorg.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-Moreinformationat:master:50030/jobde
我有一个Oozie工作流程,本质上是1.SqoopsfromOracletoHDFS2.RunsMapReduceontheData3...我希望能够运行一个shell脚本来传递一个用于Sqoop操作的where子句。./run.sh"birth_date我希望将参数传递给配置OozieSqoop参数的job.properties文件,该参数传递给工作流。执行此操作的最佳方法是什么? 最佳答案 如果我没理解错的话,你可以有一个job.properties_template文件,其中有一行sqoop-where-arg=WHERE_P
我在我的系统中安装了oozie4.0.0和Hadoop1.2.1我的目标是在oozie中编写sqoop作业。正如我在谷歌上搜索并获得以下链接:-http://rvs.github.io/oozie/installing.htmlhttp://srikanthayalasomayajulu.blogspot.sg/2013/02/apache-oozie-331-installation-on-apache.htmlwww.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html所有链接都非常好。我面临