我一直在尝试在oozie上运行Avromap-reduce。我在workflow.xml中指定映射器和缩减器类,并提供其他配置。但它给出了一个java.lang.RunTimeException-classmr.sales.avro.etl.SalesMappernotorg.apache.hadoop.mapred.Mapper当直接在hadoop集群上(而不是通过oozie)运行时,相同的作业会完成并提供所需的输出。所以我似乎可能缺少一些oozie配置。我从异常中猜想oozie要求映射器是org.apache.hadoop.mapred.Mapper的子类,但Avro映射器具有不同
我的oozie协调器应用程序有问题。案例一:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:小时(1)”操作数:1(预期为3)标称时间-1)2012-09-0713:00Z(预计还有两个。2012-09-0714:00Z,2012-09-0715:00Z)案例二:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:分钟(10)”Action数:6(预期为18)标称时间:1)2012-09-0713:00Z2)2012-09-0713:10Z3)2012-09-0713:20Z4)
我有一个运行Map-ReduceV1的CDH4集群。当我尝试从tarball安装oozieCDh4并按照给出的说明进行配置时https://ccp.cloudera.com/display/CDH4DOC/Oozie+Installation#OozieInstallation-Configuringthehadoopversion在启动服务时,我在日志中收到以下错误INFO:StartingServletEngine:ApacheTomcat/6.0.3211Oct,201211:51:57PMorg.apache.catalina.startup.HostConfigdeployD
我正在尝试在启用kerberos的环境中从oozie配置单元操作执行配置单元脚本。这是我的workflow.xml${jobTracker}${nameNode}hive-site.xmlmapred.job.queue.name${queueName}script.qHIVE_EXPORT_TIME=${hiveExportTime}我在尝试连接到HiveMetastore时遇到问题。6870[main]INFOhive.metastore-TryingtoconnecttometastorewithURIthrift://10.0.0.242:9083HeartbeatHeartb
我正在尝试获取一个hdfs位置并将其作为电子邮件附件提供给oozie电子邮件操作。我的hdfs位置只能使用shell操作找到。现在我如何传递我的shell操作的输出,这将是我的oozie电子邮件操作的hdfs路径。这可以使用oozie实现吗?...[COMMA-SEPARATED-TO-ADDRESSES][SUBJECT][BODY][CONTENT-TYPE]**[COMMA-SEPARATED-HDFS-FILE-PATHS]**... 最佳答案 查看我的评论,但对于检查此问题的其他人,答案是:捕获shell操作的输出并将其作
我在shell中创建了一个脚本,并在我的脚本中使用getopts方法传递参数,如下所示:shmy_code.sh-F"file_name"其中my_code.sh是我的unix脚本名称,file_name是我使用getopts传递给我的脚本的文件。当我从命令行调用我的脚本时,这工作正常。我想使用oozie调用相同的脚本,但我不确定该怎么做。我尝试将参数传递给xml中的“exec”和“file”标签当我尝试在exec标记中传递参数时,它给出了“JavaNullPoint”预期执行标签my_code.sh-Ffile_name文件标签$/user/oozie/my_code.sh#$my_
我试图像这样杀死oozie协调员工作:$ooziejob-ooziehttp://10.0.3.2:11000/oozie-kill0003288-130913181709024-oozie-oozi-C没有任何错误出现。但是在我检查oozieUI之后,作业仍然存在。我熟练了几个工作,然后在oozie上部署了新的代码更新,开始了新的工作。由于无法杀死旧作业,因此现在Oozie上有许多具有相同项目'RUNNING'的作业。我以前可以杀死工作,但现在不能杀死它。那么,如何强制终止正在运行的作业呢?您知道是什么导致了这一切吗?非常感谢。 最佳答案
我定义了一个Oozie协调员工作,如下所示:1${nameNode}/user/${user}/oozie/apps/DFE/queryGenerator-wfnameNode${nameNode}jobTracker${jobTracker}如您所见,我将频率定义为15分钟,并发为1。但是,作业每5分钟运行一次,它会同时启动我的工作流的4个实例,如下面的屏幕截图所示:我不明白为什么会这样,非常感谢您提供一些见解! 最佳答案 在这种情况下,我想您的开始时间是过去-如果您查看物化实例列,您会看到它们之间有15分钟的间隔。OOZIE在开
我正在尝试在oozie中配置Mapreduce作业。此作业有两种不同的输入格式和两个输入数据文件夹。我用了这个帖子Howtoconfigureoozieworkflowformulti-inputpathwithmultiplemappers并将这些属性添加到我的workflow.xml中:mapred.input.dir.formatsfolder/data/*;org.apache.hadoop.mapred.SequenceFileInputFormat\,data/*;org.apache.hadoop.mapred.TextInputFormatmapred.input.di
我正在尝试在oozie3.3.2中执行一个决策控制节点,但出现javax.servlet.jsp.el.ELException遇到“{”${fs:fileSize(${OutputDir}/000000_0)gt100}我应该如何传递字符串格式的参数,因为上面提到的FS方法需要字符串输入? 最佳答案 来自document看来,您需要通过硬编码,即包含在'中就像在${fs:fileSize('/usr/foo/myinputdir'/1000)gt10}或只是参数名${fs:fileSize(OutputDir/1000)gt10