我想在本地模式下运行PIG,这很容易pig-xlocalfile.pig我的要求是从OOZIE以本地模式运行PIG?有没有可能像我想的那样OOZIE会先自动启动maptask? 最佳答案 这是可能的。当Oozie运行pig脚本时,它作为单映射map-reduce作业运行,它只运行pig脚本,而pig脚本又运行其他map-reduce作业(当pig在mapred中运行时>模式)。看来,Pig操作配置不允许在本地模式下运行,但您仍然可以使用shell操作类型在本地模式下运行Pig脚本。您只需确保您的脚本、输入和输出数据位于HDFS中。
我需要一些关于oozie启动器作业的说明。1)启动器作业是按工作流应用程序(具有多个操作)启动的还是按工作流应用程序中的每个操作启动的?2)用例:我的工作流程包含多个shellAction(在内部执行spark、hive、pigAction等)。使用shell的原因是因为可以使用自定义逻辑计算分区日期等其他参数,并使用.q文件将其传递给配置单元示异常(exception)壳文件:hive-hiveconfDATABASE_NAME=$1-hiveconfMASTER_TABLE_NAME=$2-hiveconfSOURCE_TABLE_NAME=$3-hiveconf-f$4示例.q文
在我的工作流程中,我有一个shell操作和一个HDFSfs操作ShellAction与日期相呼应。(日期=2016-10-06)我想在HDFSfsactionmkdir路径中设置上面的日期参数。以下是Action定义。我收到以下错误。EL_ERROREncountered"&",expectedoneof[,,,"true","false","null","(",")","-","not","!","empty",] 最佳答案 您需要连接两个字符串以形成完整路径。Stringconcat(Strings1,Strings2)它返回2
所以我一直在使用Ooziejavaapi,一切都很好,直到我遇到以下问题。尝试运行以下java代码时:OozieClientoc=newOozieClient(OOZIE_URL);Propertiesconf=oc.createConfiguration();conf.setProperty(OozieClient.APP_PATH,PATH_TO_WF);StringjobId=oc.run(conf);while(oc.getJobInfo(jobId).getStatus()==WorkflowJob.Status.PREP){Thread.sleep(1000);}oc.ki
我正在尝试配置Oozie以在我的hadoop-2.7.1集群上工作。一切似乎都运行良好,YARN、Hue、MapReduce和Spark。通过yarnjar...命令发送的作业正确完成,但通过CLIooziejob...-run或Hue发送一些带有oozie的作业,作业是停留在33%,节点日志显示:2015-11-0606:08:56,121INFO[main]org.apache.hadoop.yarn.client.RMProxy:ConnectingtoResourceManageratlocalhost/127.0.0.1:180302015-11-0606:08:57,165
我想使用AWSoozie在S3中移动文件。我要运行awss3mvs3://temp/*.zips3://temp/processed_files/.--recursive我如何在oozie中执行此操作?编辑12015-11-1210:18:55,758WARNShellActionExecutor:542-USER[hadoop]GROUP[-]TOKEN[]APP[rad_workflow]JOB[0000118-151029144311676-oozie-oozi-W]ACTION[0000118-151029144311676-oozie-oozi-W@sh]Launcherex
Java应用程序在Hadoop集群中作为具有单个Mapper任务的map-reduce作业执行。如果一个javamapreduce作业(不是hive或任何其他作业只是一个直接的mapreduce作业)是oozie的一部分,我们会得到一个单独的mapper启动器并且实际的mapreduce作业独立运行。那么有没有办法将启动器和实际的mapreduce作业运行联系起来?像获取与启动器jobid一起运行的实际操作的jobid?任何命令知道吗? 最佳答案 您可以转到oozieUI并获取此信息。单击您想要的操作,然后转到ChildJobURL
在oozie中运行配置单元操作时出现以下错误:015-12-2019:48:40,368WARNHiveActionExecutor:523-SERVER[sandbox.hortonworks.com]USER[root]GROUP[-]TOKEN[]APP[oozie_hive_root]JOB[0000013-151220142557945-oozie-oozi-W]ACTION[0000013-151220142557945-oozie-oozi-W@oozie_hive_root]LauncherERROR,reason:Mainclass[org.apache.oozie.
我在RHEL7.2上使用CDH5.7。我点击了以下链接Ooziewebconsole.将ext-2.2复制到/var/lib/oozie后,我将权限更改为755。然后我重新启动了oozie。但它仍然显示OozieWeb控制台已禁用 最佳答案 我找到了答案下载ext-2.2提取并移动到/var/lib/oozie将所有者更改为oozie并应用权限755然后重启oozie 关于hadoop-无法启用oozieweb控制台,我们在StackOverflow上找到一个类似的问题:
我正在关注http://hadooptutorial.info/apache-oozie-installation-on-ubuntu-14-04/用于使用hadoop2.7.2安装oozie4.1.0构建成功,我可以通过发出这个命令来创建ooziewarhduser@master:~/oozie/oozie-bin$sudobin/oozie-setup.shprepare-war在/home/hduser/oozie/oozie-bin/oozie-server/webapps/oozie.war添加了“ExtJS库,JAR”的新OozieWAR文件信息:Oozie已准备好启动但是