我正在尝试通过我在Hue中创建的Oozie工作流来运行Hive操作，但是操作“心跳”永远不会执行HiveSQL。我读过其他关于永远心跳的文章，但这篇文章似乎发生在不同的时间点，在SQL语句被解析之后。我检查了集群中每个节点的内存，并验证了任务计数参数是否合理。这是hive-config.xml文件:javax.jdo.option.ConnectionURLjdbc:hive://10.1.10.250:10000/testdbJDBCconnectstringjavax.jdo.option.ConnectionDriverNameorg.apache.hadoop.hive.jdb
我有一个Oozie协调器，它监视文件是否出现在特定目录中。该协调员每天运行。如果正在观看的文件出现，则会启动工作流程。工作流采用正在监视的文件/目录的参数。Oozie将其传递给它。这是一个完全限定的路径(即:hdfs://myhost/dir1/dir2/2015-02-17)。我需要获取/dir1/dir2/2015-02-17并将其传递到Hive脚本中，该脚本似乎没有采用完全合格的HDFS路径。这意味着我需要使用WorkflowEL函数去除hdfs://myhost部分。我认为replaceAll()会这样做。问题是将其结果传递到Hive。有没有办法在工作流本身中使用工作流配置属性
我是ApacheOozie的新手，据我所知，工作流/协调器作业必须在xml文件中预先定义。但是，在我的问题中，我需要动态定义工作流程，这取决于输入文件，我的工作流程中可能会有额外的操作。有没有办法以编程方式做到这一点？ 最佳答案 我完全同意Mzf的回复，但我想添加一些内容来回答jamiet的问题并创建一个更通用的答案。如果将您的工作流程拆分为多个流程/案例是有意义的，那么决策控制节点就是最佳选择。但是有时有必要——就像jamiet在评论中问的那样——你想调用一个工作流/Action来对一个集合进行迭代。这意味着每次运行工作流时，工作
Oozie4.2.0版支持作为Spark作业运行的Spark操作，是否可以在操作之间共享RDD，例如我的一个操作将读取文件并执行一些转换并创建一个RDD，比如rdd1，然后将(Spark操作)保存到HDFS，现在另一个oozie操作可能会采用rdd1并执行一些转换和操作。以上可以通过单个Spark驱动程序类实现，但我正在研究oozie解决方案，因为Spark驱动程序类对于复杂的工作流来说会非常复杂。预先感谢您的回答。问候，古兰加巴萨克 最佳答案 一个解决方案可能是使用sparkjobserver在多个作业中使用相同的spark上下文
我正在使用AWS并尝试使用hue为仅map作业创建oozie工作流。我为此采取了mapreduce操作。在尝试了很多方法之后，我无法完成它。我从CLI运行我的工作，它工作正常。我在HDFS中创建了一个名为mapreduce的目录，并将我的driver.java和mapper.java放入其中。在mapreduce目录下，我创建了lib目录并将我的可运行jar放入其中。我附上色调界面的屏幕截图。我遗漏了一些东西，或者我似乎无法将可运行的jar放在适当的位置。除了Hue中的输入和输出目录，我还想添加一个额外的参数。我该怎么做？我的疑惑在于2015-11-0614:56:57,679WARN
我正在使用Java操作开发Oozie。Java操作应使用Java选项-Xmx15g。因此，我将属性oozie.mapreduce.map.memory.mb设置为25600(25G)，以防需要一些额外的内存。在这个简单的设置之后，我运行了Oozie作业，然后在Java运行时当然出现了OutofMemory(堆空间不足)错误。因此，我根据链接在Java操作的属性节点中相应地将oozie.launcher.mapred.child.java.opts设置为-Xmx15g:http://downright-amazed.blogspot.fi/2012/02/configure-oozies
我正在使用ApacheOozie4.3.0和Hadoop2.7.3我开发了一个非常简单的Oozie工作流，它只有一个sqoop操作来将系统事件导出到MySQL表。${jobTracker}${nameNode}export--connectjdbc:mysql://localhost/airawat--usernamedevUser--passwordmyPwd--tableeventsgranularreport--direct--enclosed-by'\"'--export-dir/user/hive/warehouse/eventsgranularreport"Killedjo
我正尝试在yarn-client模式下向oozie提交一个spark作业。当我在oozie之外运行spark作业时，它运行良好。但是当我提交oozie作业时，它一直失败并出现以下错误:Exceptioninthread"main"java.lang.IllegalStateException:basedirjob.jar/libdoesnotexist.atorg.apache.tools.ant.DirectoryScanner.scan(DirectoryScanner.java:871)atorg.apache.spark.classpath.ClasspathFilter$$a
我正在使用oozie环境。成功完成作业后，我无法在oozie日志中找到System.out.println输出。我用谷歌搜索了好几个小时，然后找到了this但没有结果。从oozieweb控制台我得到了作业ID“0000011-180801114827014-oozie-oozi-W”，然后我尝试使用以下命令获取有关该作业的更多信息:ooziejob-ooziehttp://localhost:11000/oozie/-info0000011-180801114827014-oozie-oozi-W然后我从JobCompleted"16546"操作中获取externalId，我认为作业I
我是java的新手，在使用java代码运行oozie作业时遇到了一些问题。我无法找出代码中的问题。一些帮助将不胜感激。这是我的代码importjava.util.Properties;importorg.apache.oozie.client.OozieClient;importorg.apache.oozie.client.WorkflowJob;publicclassoozie{publicstaticvoidmain(String[]args){OozieClientwc=newOozieClient("http://host:11000/oozie");Propertiesco
