我正在尝试使用oozie(霍顿作品)运行sqoop。这是我第一次尝试运行oozie工作流，但出现以下错误InvokingSqoopcommandlinenow1811[main]WARNorg.apache.sqoop.tool.SqoopTool-$SQOOP_CONF_DIRhasnotbeensetintheenvironment.Cannotcheckforadditionalconfiguration.2015-12-2116:58:45,913WARN[main]tool.SqoopTool(SqoopTool.java:loadPluginsFromConfDir(177
是否可以从oozie工作流调用驱动程序类。我看到的例子是指定mapper和reducer。我想调用驱动程序类，因为一些参数是从我的驱动程序类中设置的，需要传递这些参数。如果提供任何文档链接或指南，将会很有帮助。谢谢干杯:) 最佳答案 要使用oozie运行任何MapReduce作业，建议使用行动。在Oozie中作为一个Action紧密集成而不只是另一个Java程序有明显的优势。因为Oozie知道action运行一个Hadoop作业，它提供了对该作业的Hadoop计数器的轻松访问。如果将Hadoop作业作为调用，则保存和访问Hadoop
我正在尝试在Hue的Oozie编辑器中使用Sqoop操作，但是我无法让它工作。这是我到目前为止尝试过的方法。我将所有内容都放在参数中，而不是命令(http://alvincjin.blogspot.com.au/2014/06/create-sqoop-action-in-oozie-using-hue.html)此外，我正在尝试连接到Teradata，因此我将jdbcjar放在HDFS中，并将它们添加到文件中。这是当前工作流程在编辑器中的样子:SqoopAction.工作流定义是:Actionfailed,errormessage[${wf:errorMessage(wf:lastE
我正在运行一个包含sqoop命令的oozie工作流。通过终端提交时，sqoop命令运行良好。但是oozie工作流给出了以下异常:Exceptioninthread"main"java.lang.RuntimeException:org.apache.hadoop.security.AccessControlException:Permissiondenied:user=yarn,access=WRITE,inode="/user/yarn":hdfs:hdfs:drwxr-xr-x请指出可能存在的问题。工作流中的Sqoop命令:import--connect"jdbc:sqlserve
我正尝试从oozie启动一个pig作业，但它失败了。Oozie堆栈跟踪:java.lang.RuntimeException:java.lang.ClassNotFoundException:找不到类org.apache.oozie.action.hadoop.PigMain在org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1897)在org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:224)在org.apache.
我正在使用oozie运行MapReduce作业。从工作流中我只是调用MapReduce驱动程序类，除此之外别无其他。但是对于这个oozie工作流程需要大量内存。它需要至少2GB的容器大小来调用驱动程序类。下面是workflow.xml${jobTracker}${nameNode}mapred.job.queue.name${jobQueue}${jobScript}${arguments}${queueName}${wf:id()}myPath/MyDriver.sh#MyDriver.shJobfailedfailed:[${wf:errorMessage(wf:lastError
在每小时的5分钟标记处，我将过去一小时的数据加载到hdfs中。我想我可以设置一个协调器作业，使其在每小时10分钟标记处运行以处理此数据，同时检查该小时的目录是否存在。最终发生的事情是协调器将在提交时对过去一小时的数据执行正常，在接下来的2小时内继续正常工作，然后future的操作将从“等待”变为“超时”。我的猜测是对于一个Action可以停留在“等待”状态的时间有一个默认的最大限制。将超时限制应用于绝对future时间的所有操作似乎有点违反直觉。不管怎样，这是coordinator.xml的示例。我正在寻找关于如何以更有意义的方式设计它或如何提高默认超时的任何建议。hdfs://use
我正在尝试通过cli启动OozieShell操作作业:ooziejob-configjobprops/jos.prioperties-runJob开始，它给了我一个唯一的Id，我可以在OozieUI中看到Job。但是，Yarn控制台显示没有提交的作业，并且在oozie中检查日志时我收到以下消息:Errorstartingaction[folder-structure].ErrorType[TRANSIENT],ErrorCode[JA009]Message[JA009:Permissiondenied:user=vikas.r,access=WRITE,inode="/":hdfs:h
我是oozie的新手，正在尝试在CDH4.1.1中编写一个oozie工作流。所以我启动了oozie服务，然后我使用这个命令检查了状态:sudo服务oozie状态我收到消息:正在运行然后我尝试了这个命令来检查状态:oozieadmin--ooziehttp://localhost:11000/ooziestatus我得到了以下异常:java.lang.NullPointerExceptionatjava.io.Writer.write(Writer.java:140)atorg.apache.oozie.client.AuthOozieClient.writeAuthToken(Auth
我正在使用oozie4.1.0和CDH-5.5.1。我正在启用sla作为对thisquestion的回答。我从oozie.services.ext属性中删除了所有FQCN。它在后端使用PostgreSQL。我没有任何凭据。开始抛异常如下2016-05-0309:31:28,312FATALorg.apache.oozie.service.Services:SERVER[data4]RuntimeExceptionduringServicesLoad.Checkyourlistof'oozie.services'or'oozie.services.ext'2016-05-0309:31:
