我正在尝试通过一些子工作流配置来运行OozieShellAction作业。在编写配置文件(workflow.xml)时,我将一些变量(来自job.properties文件)用单引号括起来,如:myVar'${myVar}'但是,在Shell脚本中,接收到的参数没有有任何单引号?有什么想法吗? 最佳答案 尝试不加引号。我的变量${myVar} 关于shell-带有单引号的OozieShellAction参数被删除,我们在StackOverflow上找到一个类似的问题:
我正在通过Oozie从shell脚本运行java程序,但出现以下错误java:commandnotfound当我从边缘节点运行shell脚本时,我没有发现任何问题,java类运行时没有任何错误,我也得到了所需的输出。但是,无法运行java命令的是oozie作业。oozie中的所有其他操作都正常执行,但是当它遇到java行时,它会抛出上述错误。我知道Hadoop集群中的所有节点都会安装Java,那么为什么会出现此错误?下面是我的shell脚本中的java命令......java-cp$LOCAL_DIR/libs/integration-tools.jarcom.audit.report
在我的ooziecoordinator.xml文件中,我将以下内容定义为输入目录:countingHourlyInputDir${coord:dataIn('hourly-input')}/*Pattern1*,${coord:dataIn('hourly-input')}/*Pattern2*这会匹配目录中文件名与“Pattern1”或“Pattern2”匹配的文件。如果该目录包含文件Pattern1文件和Pattern2文件,我的作业运行没有问题。但是,如果该目录仅包含Pattern1文件或Pattern2文件,我的工作就会失败,并且会收到如下错误:FailingOozieLaun
我尝试使用JavaAPI运行oozie工作流。但是在提交作业时,它给我一个错误代码500。请查看下面的堆栈跟踪。Exceptioninthread"main"HTTPerrorcode:500:InternalServerErroratorg.apache.oozie.client.OozieClient.handleError(OozieClient.java:445)atorg.apache.oozie.client.OozieClient$JobSubmit.call(OozieClient.java:523)atorg.apache.oozie.client.OozieClie
在Oozie中完成工作流后,有没有办法进行外部调用?阅读一些文档似乎是可能的。(Oozie可以对操作开始/结束/失败事件和工作流结束/失败事件进行HTTP回调通知。)http://archive.cloudera.com/cdh/3/oozie/WorkflowFunctionalSpec.html但不确定该怎么做,它是否可以是回调时的外部api调用。谢谢 最佳答案 在文档的下方,section5外部API调用是什么意思?它只能执行HTTP获取-因此,如果您配置servlet端点或类似的东西以在访问URL时触发外部API调用,那么您
我从ooziehive操作工作流中收到错误:FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.HiveMain],main()threwexception,org/apache/hadoop/hive/serde2/SerDejava.lang.NoClassDefFoundError:org/apache/hadoop/hive/serde2/SerDe我正在为我的配置单元表SerDe使用CDH4.2、HUE2.2和JSON-SerDe(rcongiu-hive-json-serde)。Hive查询脚本没有问题
我正在尝试设置oozie和sqoop工作流(我想将mySql数据备份到我的hdfs中)。但是当我尝试开始我的工作时,我遇到了困难。我正在使用hadoop2(工作中的hdfs节点),oozie的最新版本。我在我的电脑上安装了oozie服务器(我想在部署它之前测试它),在oozieconf/haddop-conf目录)和我在服务器上的hdfs。我做了一个基本的工作流程(测试目的,我只是想看看sqoop是否工作)是这样的:yarn.resourcemanager.address:8040hdfs://hdfs-server:54310job--listActionfailed,errorme
我用sshAction写了一个oozie工作流程,如果Action没问题,那么下一个Action可以使用EL函数读取它的标准输出${(wf:actionData('action')['property'])}。但如果操作失败,则下一个操作无法从上一个操作标准输出中读取。是否有其他方法可以从失败的操作中读取标准输出? 最佳答案 您能否提供您所指的示例workflow.xml?如果节点出现故障,那么您可以使用errorto="errorHandlingNode"/>并尝试访问错误处理节点中的标准输出。如果不是至少,您可以获得失败节点的名
我是Oozie的新手,我正在尝试安装和设置Oozie。我按照Apache站点上提供的说明进行操作:“http://oozie.apache.org/docs/3.3.2/DG_QuickStart.html#Building_Oozie”。我已经能够完成以下内容:构建分发执行./mkdistro.sh-DskipTests。下载ExtJs2.2并分解到文件夹libext我已经在AWS实例中安装了Hadoop1.1.2并在Ubuntu12.04上运行。在我学习的过程中,集群被设置为伪分布式使用以下配置更新了core-site.xml:hadoop.proxyuser.ubuntu.hos
我是oozie的新手,遇到的问题很少。1)我试图在oozie中嵌入一个pigAction,它有一个python脚本导入。我已将jython.jar文件放在lib路径中,并在将采用pythonUDF的pig脚本中导入。我似乎没有得到这个工作。.py文件未被拾取。怎么办?2)我有一个pigcassandra集成,在其中我使用cql使用pig从cassandra获取数据并进行一些基本转换。在CLI中,我能够使它正常工作。但在oozie方面我不是。我似乎没有找到在oozie中执行此操作的解决方案(配置和其他)。谁能帮我解决这个问题?提前致谢。 最佳答案