我是Oozie的新手。有人可以帮我解决这个要求吗？我有一个Java代码，因为我有一个保存文件名的ArrayList。假设如果我的ArrayList包含10个文件，然后遍历列表中的每个文件，我必须调用另一个Pig和Hive操作乌兹。我对此进行了探索，发现Oozie不支持直接循环，我可能不得不使用oozie子工作流。那么有人可以帮我解决这个问题吗？ 最佳答案 oozie不支持循环。在您的场景中，我建议采用以下方法。创建动态生成workflow.xml的Java代码。此workflow.xml应该有您的第一个java操作，然后是内部hiv
我有一个jar来执行数据摄取；使用hadoopjar时有效从命令行，但是当我尝试使用OozieJavaAction实现相同的操作时，出现以下错误。错误信息:WhilerunningJavaActionduringSqoopImport2017/02/2313:02:36.848[ERROR]main(ImportTool.java)-EncounteredIOExceptionrunningimportjob:java.io.IOException:HCatexitedwithstatus1atorg.apache.sqoop.mapreduce.hcat.SqoopHCatUtili
我在HDP2.5.3和oozie4.2.0上运行。spark操作设置为以yarn-client模式运行。SparkJob用于从hive表中获取数据，对其进行处理并将其存储在HDFS中。但是当我尝试从SparkAction提交Spark应用程序时，我得到了NullPointerException。workflow.xml${job_tracker}${name_node}hive2.jdbc.url${hive_beeline_server}hive2.server.principal${hive_kerberos_principal}${job_tracker}${name_node}
我正在尝试在以下工具的帮助下执行Oozie作业网址:https://www.safaribooksonline.com/library/view/apache-oozie/9781449369910/ch05.html执行时ooziejob-run-configtarget/example/job.properties获取错误为:Connectionexceptionhasoccurred[java.net.ConnectExceptionConnectionrefused(Connectionrefused)].Tryingafter1sec.Retrycount=1Connecti
我已经使用cron表达式安排了一个协调器frequency="203**2-4"但它给出了错误。oozie协调器日志显示“java.lang.IllegalArgumentException”:paramter[frequency]=[203**2-4]mustbeaninteger。输入字符串的解析错误:“203**2-4”HDP版本:2.5.3Oozie客户端构建版本:4.2.0.2.5.3.0-37.... 最佳答案 您正在请求Oozie为协调器应用XML模式...在该模式的0.2版本中。文档暗示CRONsyntaxworke
假设我有一个工作流操作，我需要从hdfs获取和使用一个文件(如果它存在)但不会失败。有没有办法在工作流配置中执行此操作？所以，如果我有这样的东西:AJavaProgram...-filesproperties.json...${concat(additionsPath,"properties.json")}...只要该属性文件存在于hdfs中正确的位置，它就可以正常工作，但如果不存在，工作流就会失败。如果不存在要从HDFS复制的文件，有没有办法让它不失败？一种使文件从workflow.xml中可选的方法？ 最佳答案 每个Action
我有一个带有sqoop操作的oozie工作流，我希望从命令行获取这些sqoop操作的日志(标准输出)。这是我认为可行的方法:oozie作业-info0000002-170819062150496-oozie-oozi-W打印Action的job_ids:------------------------------------------------------------------------------------------------------------------------------------0000002-170819062150496-oozie-oozi-W@
bin/mkdistro.sh-DskipTests-X的日志[INFO]ApacheOozieCore..................................FAILURE[52.316s][INFO]ApacheOozieShareLibStreaming...................SKIPPED[INFO]ApacheOozieShareLibPig.........................SKIPPED[INFO]ApacheOozieShareLibHive........................SKIPPED[INFO]ApacheOo
我正在使用CDH5.9.0、Spark1.6和Scala2.10.0。我创建了一个scala和spark程序来创建一个表并将数据从文件加载到配置单元。当我使用sparksubmit运行它时，它完成了。但是同样的程序通过oozie提交时，会抛出下面的异常。以下是异常(exception)。LogType:stdoutLogUploadTime:FriOct2710:08:28-04002017LogLength:1725842017-10-2710:08:20,652INFO[main]yarn.ApplicationMaster(SignalLogger.scala:register(
我正在尝试从Oozie运行一个spark作业(使用spark2-submit)，所以这个作业可以按计划运行。当运行我们从命令行在我们的服务帐户(不是Yarn)下运行shell脚本时，作业运行得很好。当我们将它作为Oozie工作流运行时，会发生以下情况:17/11/1612:03:55ERRORspark.SparkContext:ErrorinitializingSparkContext.org.apache.hadoop.security.AccessControlException:Permissiondenied:user=yarn,access=WRITE,inode="/us
