草庐IT

oozie-workflow

全部标签

java - Oozie 构建失败无法锁定存储构建/测试/数据/dfs/name1。该目录已被锁定

我正在尝试按照instruction构建Oozie4.0.1在mvntestinbuild时遇到这个问题-------------------------------------------------------------------------------Testset:org.apache.oozie.store.TestCoordinatorStore-------------------------------------------------------------------------------Testsrun:1,Failures:0,Errors:1,Skip

mysql - 使用 Sqoop/Oozie 从 Hive 加载数据到 MySQL 表

在使用Sqoop(Oozie中的sqoop命令)将数据加载到MySQL表时,我遇到了一些严重的问题(尝试了196次不成功)。如果HDFS中只有一列数据(此处为foo),则没有问题,但是当有超过1列时,例如2列,数据未加载到MySQL。如果我单独运行Sqoop,那么数据会加载到MySQL,但是当我放入Oozie时,数据不会被加载。workflow.xml有两部分,第一部分将数据从Hive表加载到HDFS,第二部分将数据从HDFS加载到MySQL。我正在使用ClouderaVM。错误信息是:Causedby:java.lang.NumberFormatException:Forinputs

hadoop - 在 Hadoop 集群上使用 Oozie 运行 Sqoop Action 时出现问题

我正在尝试使用Hadoop集群在Oozie中成功运行sqoop-action。每当我检查作业状态时,Oozie都会返回以下状态更新:ActionID状态分机ID分机状态错误代码0000037-140930230740727-oozie-oozi-W@:start:OK-OK-0000037-140930230740727-oozie-oozi-W@sqoop-loadERRORjob_1412278758569_0002FAILED/KILLEDJA0180000037-140930230740727-oozie-oozi-W@sqoop-load-failOK-OKE0729这让我相

hadoop - Oozie 从上次被杀死的节点重新运行工作流

我在oozie中使用MRAction。并且想在MR上使用oozie提供的suspend/resume功能。问题-但是,当我们在Oozie上调用“暂停”时,它不会终止hadoop作业,而只会更新oozie状态,而hadoop作业会继续运行直至完成。我希望在oozie工作流暂停时立即终止hadoop作业。我猜这不可能吧?所以,我想我可以终止oozie工作流程并重新运行它。但现在的问题是,如果我的工作流程中有3个Action节点,我不想重新运行所有这些节点。我在这里抽烟还是可以访问最后一个成功的oozie节点(这很可能存储在mysql数据库中)?对于我纵容的用例,是否有更好的方法?提前感谢您

hadoop - Pig,Hive,Hbase,Oozie,Zookeeper在Hadoop 2.0和Hadoop 1.0的安装是一样的吗?

我最近使用YARN配置安装了hadoopv_2。我计划安装Hadoop生态系统堆栈,如Pig、Hive、Hbase、Oozie、Zookeeper等。我想知道我是否应该从我为Hadoop1.0配置所做的相同链接安装这些工具。如果没有,谁能给我发送这些工具的Hadoop2配置链接?。我听说Pig和Hive在Hadoop2.0中更快。所以想知道有没有更好的版本。谢谢,高瑟姆 最佳答案 http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-1/CDH4-In

hadoop - Oozie 工作流配置单元操作卡在运行中

我正在运行来自Hortonworks发行版的Hadoop2.4.0、Oozie4.0.0、Hive0.13.0。我有多个Oozie协调员作业,它们可能会同时启动所有工作流。每个协调器作业都监视不同的目录,当_SUCCESS文件出现在这些目录中时,工作流将启动。工作流运行一个Hive操作,该操作从外部目录读取并复制内容。SEThive.exec.dynamic.partition=true;SEThive.exec.dynamic.partition.mode=nonstrict;DROPTABLEIFEXISTS${INPUT_TABLE};CREATEexternalTABLEIFN

hadoop - 使用 oozie 调用 pig - org.apache.pig.Main 退出代码 [2]

我正在尝试在Oozie中调用Pig操作,并且我正在处理以下内容-Ooziev3.3.2Pigv0.12.1-maprHadoopv1.0.3maprM5我现在可以使用Oozie调用java操作。但是,当我尝试调用Pig操作时,它失败了,但并没有透露太多-[Map/Reducefailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]],afterresolve[Map/Reducefailed,errormessage[Mainclass[org.apache.oozie.action.hadoop.PigMain],exit

hadoop - Oozie java-action 不包含 core-site.xml

在新安装的HadoopHDP2.2.2.4上运行Ooziejava操作时,例如尝试访问hdfs,它会访问错误的文件系统:java.lang.IllegalArgumentException:错误的FS:hdfs:/tmp/text.txt,预期:file:///可以通过在Oozie操作中包含core-site.xml来修复:hdfs:/path-to-core-site.xml-on-hdfs但是原因是什么,正确的解决方法是什么? 最佳答案 core-site.xml不包含在java-action的类路径中的原因是属性mapredu

java - 来自 Oozie Java 工作的电子邮件

我们使用Clouderacdh5.4.0,并一直在尝试从JavaAPI触发oozie作业以发送电子邮件。使用SMTP登录发送电子邮件依赖于两个第3方jar文件-activation.jar和mail.jar。当第3方文件放置在文件系统上的同一文件夹中时,JAVA程序可以从IDE/packagesJar文件中正常发送电子邮件。但是当我们将文件移动到HDFS并尝试配置oozie作业时,它无法完成。我们的oozie作业xml如下(email.xml):Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]${jobT

hadoop - 不应该在包安装期间配置 Oozie/Sqoop jar 位置吗?

我在CentOS6.7中使用HDP2.4。我已经用Ambari创建了集群,所以Oozie是由Ambari安装和配置的。我在运行与jar文件位置相关的Oozie/Sqoop时遇到两个错误。第一个涉及postgresql-jdbc.jar,因为Sqoop作业是从Postgres增量导入的。我将postgresql-jdbc.jar文件添加到HDFS并在workflow.xml中指向它:/user/hdfs/sqoop/postgresql-jdbc.jar问题解决了。但第二个错误似乎与kite-data-mapreduce.jar有关。然而,对这个文件做同样的事情:/user/hdfs/s