草庐IT

oozie-workflow

全部标签

hadoop - HiveContext 不适用于 Oozie

我试图使用HiveContext对象从我的spark代码运行一些配置单元查询。当我使用sparksubmit从命令行运行它时,它工作正常。但是,当我尝试从oozie工作流运行相同的内容时,出现以下异常。Userclassthrewexception:java.lang.RuntimeException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 最佳答案 如果使用

hadoop - Oozie - 有没有办法在整个集群上只执行一个 java 操作实例?

当我查看我的日志时,我发现我的ooziejava操作实际上在多台机器上运行。我认为这是因为它们被包裹在m/r作业中?(这是正确的吗)有没有办法在整个集群上只执行一个java操作实例? 最佳答案 Java操作在Oozie“启动器”作业中运行,只有一个YARN“映射”容器。诀窍在于每个YARN作业都需要一个应用程序主(AM)容器进行协调。所以你最终有2个容器,_0001用于AM和_0002用于Oozie操作,可能在不同的机器上。要控制每个资源的分配,您可以设置以下操作属性来覆盖您的/etc/hadoop/conf/*-site.xml配

hadoop - 在附件的 oozie 电子邮件操作中根据日期传递变量

我正在使用oozie发送带附件的电子邮件。我正在这样做。Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]xxxxxxxxxxxxxxx@xxxxxjobsuccesstext/plain/user/XXXX/logs/2017-05-03/exec.log现在在/user/XXXX/logs/2017-05-03/exec.log附近的工作流程中日期总是在变。我如何传递变量,以便在调用工作流时发送特定日期的附件。editedquestion.我的shell脚本:#!/bin/bashTIMESTAMP=`

hadoop - oozie 在通过协调器提交作业时模拟了哪个用户

用户模拟/传播在oozie中如何工作? 最佳答案 检查UserPropogation来自Oozie文档。它说Whensubmittingaworkflowjob,theconfigurationmustcontainauser.nameproperty当您没有明确添加此属性时,它会分配给提交作业的用户。 关于hadoop-oozie在通过协调器提交作业时模拟了哪个用户,我们在StackOverflow上找到一个类似的问题: https://stackoverf

hadoop - 带有存档操作的 Oozie 工作流

我想制作一个oozie工作流,其中成功的最后一步是“存档”结果。shell中的命令是hadooparchive-archiveName=XXX.har-p/some/random/parentdirectorToArhivepathToArchiveDestination我试过以下方法Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]我得到的错误类似于以下内容:WARNING:ExceptioninRunloopofthread:mainwithmessage:E0701:XMLschemaerror,cv

hadoop - Oozie 堆栈跟踪

我正在尝试按照中的建议使用Spark的SparkSubmitJava类将Spark作业提交给Oozielaunchingasparkprogramusingoozieworkflow但Java操作失败并显示错误消息Mainclass[org.apache.oozie.action.hadoop.JavaMain],exitcode[1]有什么方法可以访问执行错误日志/堆栈跟踪,以便我可以看到到底发生了什么?任何评论/回答表示赞赏。 最佳答案 要获取java操作日志,您可以使用oozie的Web控制台查找该操作的hadoop作业ID。

hadoop - 如何提交 oozie 协调员工作

我有一个在文件coordinator.xml中定义的oozie协调器作业,它运行一个在workflow.xml文件中定义的工作流作业。我想运行协调员作业,但是当我发出命令'ooziejob-ooziehttp://.../oozie/-config./job.properties-run'它运行工作流而不是协调器。我如何告诉它运行协调器而不是工作流? 最佳答案 我找到了解决方案,它基本上是将属性文件中的“oozie.wf.application.path”属性更改为“oozie.coord.application.path”

apache - 缺少依赖项 hive-builtins 导致构建失败,错误代码为 Oozie 410

我尝试从源代码构建oozie但安装失败。我想安装oozie并急切地等待使用它。我在这个阶段失败了:当我从oozie-3.3.3目录中给出cmd时:bin/mkdistro.sh-DskipTests我遇到了这个错误:[INFO]BUILDFAILURE[INFO]------------------------------------------------------------------------[INFO]Totaltime:06:55min[INFO]Finishedat:2015-07-05T14:05:27+05:30[INFO]FinalMemory:39M/372M

hadoop - 具有 Hive 操作的 Oozie 工作流因权限问题而失败

我们有一个运行HDP2.2.0.0的Hadoop集群。我们有另一个运行HDP2.2.4.2的Hadoop集群。我们有一个带有Hive操作的Oozie工作流,它在第一个带有HDP2.2.0.0的集群上运行良好。但是在运行HDP2.2.4.2的第二个集群中,完全相同的工作流程失败,并出现以下错误:38098[main]INFOorg.apache.hadoop.hive.ql.Driver-Startingtask[Stage-4:MOVE]inserialmode2015-07-1516:23:22,810INFO[main]ql.Driver(Driver.java:launchTas

hadoop - 使用 Kerberos 从另一个作业的 java 操作提交 Oozie 作业

我正在尝试使用JavaClientAPI提交Oozie作业来自另一个Job的javaAction。集群正在使用Kerberos。这是我的代码://getaOozieClientforlocalOozieStringoozieUrl="http://hadooputl02.northamerica.xyz.net:11000/oozie/";AuthOozieClientwc=newAuthOozieClient(oozieUrl);wc.setDebugMode(1);//createaworkflowjobconfigurationandsettheworkflowapplicati