Java应用程序在Hadoop集群中作为具有单个Mapper任务的map-reduce作业执行。如果一个javamapreduce作业(不是hive或任何其他作业只是一个直接的mapreduce作业)是oozie的一部分,我们会得到一个单独的mapper启动器并且实际的mapreduce作业独立运行。那么有没有办法将启动器和实际的mapreduce作业运行联系起来?像获取与启动器jobid一起运行的实际操作的jobid?任何命令知道吗? 最佳答案 您可以转到oozieUI并获取此信息。单击您想要的操作,然后转到ChildJobURL
在oozie中运行配置单元操作时出现以下错误:015-12-2019:48:40,368WARNHiveActionExecutor:523-SERVER[sandbox.hortonworks.com]USER[root]GROUP[-]TOKEN[]APP[oozie_hive_root]JOB[0000013-151220142557945-oozie-oozi-W]ACTION[0000013-151220142557945-oozie-oozi-W@oozie_hive_root]LauncherERROR,reason:Mainclass[org.apache.oozie.
我想在直线上获取当前日期。我试着用这个:FROM_UNIXTIME(UNIX_TIMESTAMP())它输出这个:16-03-21我想要得到的东西:2016-03-2109:34我该怎么做?我在这里看到直线文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-DateFunctions但它对我不起作用。 最佳答案 您可以通过将预期格式作为from_unixtime函数的参数传递来获取它。示例:selectfro
我在RHEL7.2上使用CDH5.7。我点击了以下链接Ooziewebconsole.将ext-2.2复制到/var/lib/oozie后,我将权限更改为755。然后我重新启动了oozie。但它仍然显示OozieWeb控制台已禁用 最佳答案 我找到了答案下载ext-2.2提取并移动到/var/lib/oozie将所有者更改为oozie并应用权限755然后重启oozie 关于hadoop-无法启用oozieweb控制台,我们在StackOverflow上找到一个类似的问题:
我正在关注http://hadooptutorial.info/apache-oozie-installation-on-ubuntu-14-04/用于使用hadoop2.7.2安装oozie4.1.0构建成功,我可以通过发出这个命令来创建ooziewarhduser@master:~/oozie/oozie-bin$sudobin/oozie-setup.shprepare-war在/home/hduser/oozie/oozie-bin/oozie-server/webapps/oozie.war添加了“ExtJS库,JAR”的新OozieWAR文件信息:Oozie已准备好启动但是
我试图从Spark在Hbase中创建一个表并插入数据,从中读取数据。当我从命令行运行spark作业时它工作正常。但是,每次我尝试使用oozie运行它时,它都会抛出不同类型的异常。这是我的sparkhbase代码valsc=newSparkContext("local","Hbasespark")valtableName="Morbidity_Dummy2"valconf=HBaseConfiguration.create()//AddlocalHBaseconfconf.addResource(newPath("file:///opt/cloudera/....../hbase-sit
我有一个sqoop作业,我只想将HIVE表中的3列导出到只有这3个字段的mysql表中。export--connect--username--password--tabletarget--columns"col1,col2,col3"--export-dir/path/to/source/table请注意,在hive表中,col1、col2、col3之间有一些字段。抛出的错误是IllegalArgumentException,因为Sqoop正在解析hive表中col1和col2之间的字符串字段,我明确试图忽略它,并试图将其存储为时间戳.如有任何建议,我们将不胜感激!
我正在尝试使用MultipleOutputs来更改reducer中的输出文件名。我正在使用oozie工作流来运行mapreduce作业。我找不到在oozie工作流中添加以下属性的方法-MultipleOutputs.addNamedOutput(job,"text",TextOutputFormat.class,Text.class,Text.class);因为它是ooziemapreduce操作,所以我没有驱动程序类放在上面的代码。 最佳答案 答案就在方法的源代码中。来自hadoopcore1.2.1jar/**/publicst
我从shell操作中捕获了这个输出:SHELL_OUTPUT='John,28,1,0Jack,32,0,15Mary,45,23,12Jill,33,12,55'电子邮件操作在正文中使用捕获的输出,如下所示:Data:${wf:actionData('shell-c23f')['SHELL_OUTPUT']}但是收到的邮件似乎被截断了,只发送了第一行而不是完整的字符串,例如:Data:John,28,1,0如何确保完整的字符串是电子邮件正文的一部分?谢谢! 最佳答案 操作输出被视为和解析为序列化的java.util.Propert
我正在使用Ooziejava客户端Api从我的java程序启动shell操作。我想从我的java程序中读取shell操作的捕获输出元素。我尝试使用下面的功能。但是,我遇到了NullPointerException。org.apache.oozie.DagELFunctions.wf_actionData(StringactionName)这是使用Java客户端API提交Oozie作业的java程序。publicclassOozieSample{publicstaticvoidmain(String[]args)throwsOozieClientException,Interrupted