在我的用例中，下一次迭代使用协调器操作的输出，因此如果其中一个失败，未完成/损坏的数据将被输入到下一个协调器操作。如果协调器操作中的工作流步骤之一失败，是否有任何方法可以暂停Oozie协调器？例如代替:我们可以这样做吗:因此可以在其输出被下一个协调器操作覆盖之前诊断出错误？PS:fs>delete不是这里的实际用例，只是一个例子。 最佳答案 您不能基于工作流失败(来自协调器操作)暂停协调器。如果工作流的输出具有特定模式，那么您可以使用它并在工作流开始时检查它。否则，只要文件成功，您始终可以触摸文件作为工作流中的最后一个操作，如果失败
我们目前正在我们的集群中运行大量的Oozie作业。其中许多工作都使用模板并具有子工作流程。这些作业并不总是包含大量繁重的作业，它们大多包含一个小的shell脚本。Hue作业浏览器显示大量Oozie步骤。我们现在有时会觉得我们的集群因这些作业而重载。这让我想知道，是否每一个Oozie作业都指定了一个yarn容器？如果是这样，这意味着对于2分钟的工作，我们有效使用的资源是所需资源的2-10倍。 最佳答案 自己看吧...在Hue仪表板中，单击任何已执行的工作流，选择“操作”选项卡，查看“外部ID”列=>每个job_000000_0000指
首先介绍一下背景。我有一个测试CDH集群，有两个节点。我正在尝试执行Oozie作业，下载文件，使用SPARK处理它，然后在Solr中对其进行索引。集群配置为使用Kerberos身份验证。CDH版本为5.7.1当我尝试使用Oozie运行作业时，使用以下命令:ooziejob--ooziehttps://host:11443/oozie/-run--configoozieExample/job.properties失败并出现以下异常:2016-08-1212:29:40,415WARNorg.apache.oozie.action.hadoop.JavaActionExecutor:SER
我正在尝试在azurehdinsight集群上运行oozie工作流，作业定义如下所示:jobtrackerhost:9010wasb://abc@def.blob.core.windows.netmapred.job.queue.namedefaultimport--connectjdbc:mysql://{ip}/svnadmin--usernameuname--passwordpassword--tablerights--hive-importsqoopfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]日志:201
我想知道的是spark如何/在哪里挑选所需的jar。文件:/mnt/md0/yarn/nm/usercache/kylin/appcache/application_1468506830246_161908/container_1468506830246_161908_01_000001/datanucleus-api-jdo-3.2.1.jar不存在。--num-executors30--executor-memory18g--executor-cores15--driver-memory2g--fileshdfs:///jobs/kylin/hive-site.xml--jarsd
我是Oozie的新手。有人可以帮我解决这个要求吗？我有一个Java代码，因为我有一个保存文件名的ArrayList。假设如果我的ArrayList包含10个文件，然后遍历列表中的每个文件，我必须调用另一个Pig和Hive操作乌兹。我对此进行了探索，发现Oozie不支持直接循环，我可能不得不使用oozie子工作流。那么有人可以帮我解决这个问题吗？ 最佳答案 oozie不支持循环。在您的场景中，我建议采用以下方法。创建动态生成workflow.xml的Java代码。此workflow.xml应该有您的第一个java操作，然后是内部hiv
我有一个jar来执行数据摄取；使用hadoopjar时有效从命令行，但是当我尝试使用OozieJavaAction实现相同的操作时，出现以下错误。错误信息:WhilerunningJavaActionduringSqoopImport2017/02/2313:02:36.848[ERROR]main(ImportTool.java)-EncounteredIOExceptionrunningimportjob:java.io.IOException:HCatexitedwithstatus1atorg.apache.sqoop.mapreduce.hcat.SqoopHCatUtili
我在HDP2.5.3和oozie4.2.0上运行。spark操作设置为以yarn-client模式运行。SparkJob用于从hive表中获取数据，对其进行处理并将其存储在HDFS中。但是当我尝试从SparkAction提交Spark应用程序时，我得到了NullPointerException。workflow.xml${job_tracker}${name_node}hive2.jdbc.url${hive_beeline_server}hive2.server.principal${hive_kerberos_principal}${job_tracker}${name_node}
我正在尝试在以下工具的帮助下执行Oozie作业网址:https://www.safaribooksonline.com/library/view/apache-oozie/9781449369910/ch05.html执行时ooziejob-run-configtarget/example/job.properties获取错误为:Connectionexceptionhasoccurred[java.net.ConnectExceptionConnectionrefused(Connectionrefused)].Tryingafter1sec.Retrycount=1Connecti
我已经使用cron表达式安排了一个协调器frequency="203**2-4"但它给出了错误。oozie协调器日志显示“java.lang.IllegalArgumentException”:paramter[frequency]=[203**2-4]mustbeaninteger。输入字符串的解析错误:“203**2-4”HDP版本:2.5.3Oozie客户端构建版本:4.2.0.2.5.3.0-37.... 最佳答案 您正在请求Oozie为协调器应用XML模式...在该模式的0.2版本中。文档暗示CRONsyntaxworke
