草庐IT

oozie-workflow

全部标签

Java MapReduce 计数器 - Oozie

Java应用程序在Hadoop集群中作为具有单个Mapper任务的map-reduce作业执行。如果一个javamapreduce作业(不是hive或任何其他作业只是一个直接的mapreduce作业)是oozie的一部分,我们会得到一个单独的mapper启动器并且实际的mapreduce作业独立运行。那么有没有办法将启动器和实际的mapreduce作业运行联系起来?像获取与启动器jobid一起运行的实际操作的jobid?任何命令知道吗? 最佳答案 您可以转到oozieUI并获取此信息。单击您想要的操作,然后转到ChildJobURL

hadoop - 启动器错误,原因 : Main class [org. apache.oozie.action.hadoop.HiveMain],退出代码 [12]

在oozie中运行配置单元操作时出现以下错误:015-12-2019:48:40,368WARNHiveActionExecutor:523-SERVER[sandbox.hortonworks.com]USER[root]GROUP[-]TOKEN[]APP[oozie_hive_root]JOB[0000013-151220142557945-oozie-oozi-W]ACTION[0000013-151220142557945-oozie-oozi-W@oozie_hive_root]LauncherERROR,reason:Mainclass[org.apache.oozie.

hadoop - 无法启用 oozie web 控制台

我在RHEL7.2上使用CDH5.7。我点击了以下链接Ooziewebconsole.将ext-2.2复制到/var/lib/oozie后,我将权限更改为755。然后我重新启动了oozie。但它仍然显示OozieWeb控制台已禁用 最佳答案 我找到了答案下载ext-2.2提取并移动到/var/lib/oozie将所有者更改为oozie并应用权限755然后重启oozie 关于hadoop-无法启用oozieweb控制台,我们在StackOverflow上找到一个类似的问题:

hadoop - 在 hdfs 中创建 Oozie sharelib。(Root 无法模拟 root)

我正在关注http://hadooptutorial.info/apache-oozie-installation-on-ubuntu-14-04/用于使用hadoop2.7.2安装oozie4.1.0构建成功,我可以通过发出这个命令来创建ooziewarhduser@master:~/oozie/oozie-bin$sudobin/oozie-setup.shprepare-war在/home/hduser/oozie/oozie-bin/oozie-server/webapps/oozie.war添加了“ExtJS库,JAR”的新OozieWAR文件信息:Oozie已准备好启动但是

scala - 使用 Oozie 将 Spark 转为 Hbase

我试图从Spark在Hbase中创建一个表并插入数据,从中读取数据。当我从命令行运行spark作业时它工作正常。但是,每次我尝试使用oozie运行它时,它都会抛出不同类型的异常。这是我的sparkhbase代码valsc=newSparkContext("local","Hbasespark")valtableName="Morbidity_Dummy2"valconf=HBaseConfiguration.create()//AddlocalHBaseconfconf.addResource(newPath("file:///opt/cloudera/....../hbase-sit

hadoop - oozie 中的 org.apache.hadoop.mapred.lib.MultipleOutputs.addNamedOutput()

我正在尝试使用MultipleOutputs来更改reducer中的输出文件名。我正在使用oozie工作流来运行mapreduce作业。我找不到在oozie工作流中添加以下属性的方法-MultipleOutputs.addNamedOutput(job,"text",TextOutputFormat.class,Text.class,Text.class);因为它是ooziemapreduce操作,所以我没有驱动程序类放在上面的代码。 最佳答案 答案就在方法的源代码中。来自hadoopcore1.2.1jar/**/publicst

shell - Oozie 电子邮件操作截断包含换行符的字符串

我从shell操作中捕获了这个输出:SHELL_OUTPUT='John,28,1,0Jack,32,0,15Mary,45,23,12Jill,33,12,55'电子邮件操作在正文中使用捕获的输出,如下所示:Data:${wf:actionData('shell-c23f')['SHELL_OUTPUT']}但是收到的邮件似乎被截断了,只发送了第一行而不是完整的字符串,例如:Data:John,28,1,0如何确保完整的字符串是电子邮件正文的一部分?谢谢! 最佳答案 操作输出被视为和解析为序列化的java.util.Propert

java - 使用 oozie java api 读取 oozie 捕获输出元素

我正在使用Ooziejava客户端Api从我的java程序启动shell操作。我想从我的java程序中读取shell操作的捕获输出元素。我尝试使用下面的功能。但是,我遇到了NullPointerException。org.apache.oozie.DagELFunctions.wf_actionData(StringactionName)这是使用Java客户端API提交Oozie作业的java程序。publicclassOozieSample{publicstaticvoidmain(String[]args)throwsOozieClientException,Interrupted

serialization - oozie 上的 Avro Map-Reduce

我一直在尝试在oozie上运行Avromap-reduce。我在workflow.xml中指定映射器和缩减器类,并提供其他配置。但它给出了一个java.lang.RunTimeException-classmr.sales.avro.etl.SalesMappernotorg.apache.hadoop.mapred.Mapper当直接在hadoop集群上(而不是通过oozie)运行时,相同的作业会完成并提供所需的输出。所以我似乎可能缺少一些oozie配置。我从异常中猜想oozie要求映射器是org.apache.hadoop.mapred.Mapper的子类,但Avro映射器具有不同

hadoop - Oozie 协调器应用程序在开始和结束时间的差异超过一小时后无法正常工作

我的oozie协调器应用程序有问题。案例一:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:小时(1)”操作数:1(预期为3)标称时间-1)2012-09-0713:00Z(预计还有两个。2012-09-0714:00Z,2012-09-0715:00Z)案例二:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:分钟(10)”Action数:6(预期为18)标称时间:1)2012-09-0713:00Z2)2012-09-0713:10Z3)2012-09-0713:20Z4)