草庐IT

oozie-setup

全部标签

hadoop - oozie 中的 org.apache.hadoop.mapred.lib.MultipleOutputs.addNamedOutput()

我正在尝试使用MultipleOutputs来更改reducer中的输出文件名。我正在使用oozie工作流来运行mapreduce作业。我找不到在oozie工作流中添加以下属性的方法-MultipleOutputs.addNamedOutput(job,"text",TextOutputFormat.class,Text.class,Text.class);因为它是ooziemapreduce操作,所以我没有驱动程序类放在上面的代码。 最佳答案 答案就在方法的源代码中。来自hadoopcore1.2.1jar/**/publicst

shell - Oozie 电子邮件操作截断包含换行符的字符串

我从shell操作中捕获了这个输出:SHELL_OUTPUT='John,28,1,0Jack,32,0,15Mary,45,23,12Jill,33,12,55'电子邮件操作在正文中使用捕获的输出,如下所示:Data:${wf:actionData('shell-c23f')['SHELL_OUTPUT']}但是收到的邮件似乎被截断了,只发送了第一行而不是完整的字符串,例如:Data:John,28,1,0如何确保完整的字符串是电子邮件正文的一部分?谢谢! 最佳答案 操作输出被视为和解析为序列化的java.util.Propert

java - 使用 oozie java api 读取 oozie 捕获输出元素

我正在使用Ooziejava客户端Api从我的java程序启动shell操作。我想从我的java程序中读取shell操作的捕获输出元素。我尝试使用下面的功能。但是,我遇到了NullPointerException。org.apache.oozie.DagELFunctions.wf_actionData(StringactionName)这是使用Java客户端API提交Oozie作业的java程序。publicclassOozieSample{publicstaticvoidmain(String[]args)throwsOozieClientException,Interrupted

serialization - oozie 上的 Avro Map-Reduce

我一直在尝试在oozie上运行Avromap-reduce。我在workflow.xml中指定映射器和缩减器类,并提供其他配置。但它给出了一个java.lang.RunTimeException-classmr.sales.avro.etl.SalesMappernotorg.apache.hadoop.mapred.Mapper当直接在hadoop集群上(而不是通过oozie)运行时,相同的作业会完成并提供所需的输出。所以我似乎可能缺少一些oozie配置。我从异常中猜想oozie要求映射器是org.apache.hadoop.mapred.Mapper的子类,但Avro映射器具有不同

hadoop - Oozie 协调器应用程序在开始和结束时间的差异超过一小时后无法正常工作

我的oozie协调器应用程序有问题。案例一:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:小时(1)”操作数:1(预期为3)标称时间-1)2012-09-0713:00Z(预计还有两个。2012-09-0714:00Z,2012-09-0715:00Z)案例二:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:分钟(10)”Action数:6(预期为18)标称时间:1)2012-09-0713:00Z2)2012-09-0713:10Z3)2012-09-0713:20Z4)

hadoop - Oozie 服务未启动

我有一个运行Map-ReduceV1的CDH4集群。当我尝试从tarball安装oozieCDh4并按照给出的说明进行配置时https://ccp.cloudera.com/display/CDH4DOC/Oozie+Installation#OozieInstallation-Configuringthehadoopversion在启动服务时,我在日志中收到以下错误INFO:StartingServletEngine:ApacheTomcat/6.0.3211Oct,201211:51:57PMorg.apache.catalina.startup.HostConfigdeployD

hadoop - 在 HDP-1.3.3 上使用 kerberos 的 Oozie 配置单元操作

我正在尝试在启用kerberos的环境中从oozie配置单元操作执行配置单元脚本。这是我的workflow.xml${jobTracker}${nameNode}hive-site.xmlmapred.job.queue.name${queueName}script.qHIVE_EXPORT_TIME=${hiveExportTime}我在尝试连接到HiveMetastore时遇到问题。6870[main]INFOhive.metastore-TryingtoconnecttometastorewithURIthrift://10.0.0.242:9083HeartbeatHeartb

shell - Oozie 电子邮件操作附件

我正在尝试获取一个hdfs位置并将其作为电子邮件附件提供给oozie电子邮件操作。我的hdfs位置只能使用shell操作找到。现在我如何传递我的shell操作的输出,这将是我的oozie电子邮件操作的hdfs路径。这可以使用oozie实现吗?...[COMMA-SEPARATED-TO-ADDRESSES][SUBJECT][BODY][CONTENT-TYPE]**[COMMA-SEPARATED-HDFS-FILE-PATHS]**... 最佳答案 查看我的评论,但对于检查此问题的其他人,答案是:捕获shell操作的输出并将其作

shell - 无法使用 getopts 将选项传递给 oozie shell 操作

我在shell中创建了一个脚本,并在我的脚本中使用getopts方法传递参数,如下所示:shmy_code.sh-F"file_name"其中my_code.sh是我的unix脚本名称,file_name是我使用getopts传递给我的脚本的文件。当我从命令行调用我的脚本时,这工作正常。我想使用oozie调用相同的脚本,但我不确定该怎么做。我尝试将参数传递给xml中的“exec”和“file”标签当我尝试在exec标记中传递参数时,它给出了“JavaNullPoint”预期执行标签my_code.sh-Ffile_name文件标签$/user/oozie/my_code.sh#$my_

hadoop - 无法通过 -kill 命令终止 oozie 作业

我试图像这样杀死oozie协调员工作:$ooziejob-ooziehttp://10.0.3.2:11000/oozie-kill0003288-130913181709024-oozie-oozi-C没有任何错误出现。但是在我检查oozieUI之后,作业仍然存在。我熟练了几个工作,然后在oozie上部署了新的代码更新,开始了新的工作。由于无法杀死旧作业,因此现在Oozie上有许多具有相同项目'RUNNING'的作业。我以前可以杀死工作,但现在不能杀死它。那么,如何强制终止正在运行的作业呢?您知道是什么导致了这一切吗?非常感谢。 最佳答案