草庐IT

shell - Oozie shell 操作 - 从 shell 问题运行配置单元

基于条件为真,我在shell脚本中执行hive-e。它工作正常。当我将此脚本放入Oozie的Shell操作中并运行时,我得到一个scriptName.sh:第42行:hive:commandnot发现异常。我尝试在shell操作中传递PATH=/usr/lib/hive,但我想我在那里犯了一些错误,因为我得到了相同的错误scriptName.sh:第42行:配置单元:找不到命令已编辑:我在shell脚本中使用了whichhive。它的输出不一致。我得到两种输出变体:1./usr/bin/hive以及Delegationtokencanbeissuedonlywithkerberosor

hadoop - 并行运行 Oozie 操作

我正在使用Hue中的工作流编辑器来开发Oozie工作流。有一些Action应该并行执行。是否可以同时执行两个或多个Action?如何在Hue中进行设置? 最佳答案 是的,这是可能的。在各种Oozieworkflownodes,有两个控制节点fork和join:Aforknodesplitsonepathofexecutionintomultipleconcurrentpathsofexecution.Ajoinnodewaitsuntileveryconcurrentexecutionpathofapreviousforknodea

hadoop - oozie 工作流属性中的 XML 特殊字符

这是我的oozieworkflow.xml的一个片段statement${statement}该语句可能包含“>”、“”(无编码)时,我的作业成功运行,但是如果语句包含“例如casea:statement="x>3;y>4"(无错误)案例b:语句="x>3;y 最佳答案 找到了潜在的问题。SAXBuilder可以很好地解析这段代码“x>2”但失败,下一行异常"x“>”、“ 关于hadoop-oozie工作流属性中的XML特殊字符,我们在StackOverflow上找到一个类似的问题:

hadoop - 安全 Oozie Web 控制台无法在我的 Windows 机器上运行

我已经使用CDH4.1.2在CentOS6.3中设置了一个安全的(Kerberos)Oozie环境。我可以从托管在服务器上的CentOS机器上查看OozieWeb控制台。但是有没有办法从我的本地Windows机器上查看网络控制台。我已经尝试使用我的Windows机器作为主机名创建一个HTTP主体。我能够获得HTTP主体的有效票证。但是当我打开OozieWeb控制台时,出现以下错误org.apache.hadoop.security.authentication.client.AuthenticationException:GSSException:检测到缺陷token(机制级别:GSS

hadoop - Pig、Oozie 和 HBase - java.io.IOException : No FileSystem for scheme: hbase

我的Pig脚本本身运行良好,直到我将它放入Oozie工作流中时,我收到以下错误:ERROR2043:Unexpectederrorduringexecution.org.apache.pig.backend.executionengine.ExecException:ERROR2043:Unexpectederrorduringexecution....Causedby:java.io.IOException:NoFileSystemforscheme:hbase我成功注册了HBase和Zookeeperjar,但收到了同样的错误。我还尝试通过在Pig脚本中添加这些行的变体来设置Zoo

java - EMR 上的 Oozie - 任务永远卡在 PREP 状态

我使用3.0.4AMI(Hadoop2.2.0)在ElasticMapreduce上运行Oozie4.0.1。我已经从源代码构建了Oozie,一切都已安装并且似乎正常工作,直到安排Hive作业为止。也就是说,我可以连接到Web控制台,使用“oozie”命令等提交和终止作业。但是......我发现任务(到目前为止我已经尝试过“Hive”和“Shell”)进入PREP状态(根据OozieWeb控制台)但从未真正开始。我已经尝试了协调器(cron)作业和基本工作流作业,并且在这两种情况下都得到了相同的行为。它到达hive任​​务节点,或shell任务节点,然后挂起。对于基本的工作流任务,jo

java - Hadoop:如何远程调试单个 oozie java 工作流

我无法将调试器连接到javaworkflow.我不希望打开整个hadoop作业进行调试(如许多地方所指定,例如Howtodebughadoopmapreducejobsfromeclipse?或REMOTEDEBUGGINGOFHADOOPJOBWITHECLIPSE等...)。我希望调试单个(!)工作流程。我有一个小型集群(3台机器),我希望在这个模拟的开发环境中进行调试。我曾尝试在工作流程中指定以下内容:mapred.child.java.opts-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=12121但

hadoop - Oozie map-reduce 作业永远停留在 PREP 状态

我正在尝试运行wordcountmap-reduce示例,引用https://support.pivotal.io/hc/en-us/articles/203355837-How-to-run-a-Map-Reduce-jar-using-Oozie-workflow.我在集群设置中使用hadoop2.2.0问题是我的ooziemap-reduce作业一直在运行。它没有给出任何错误,但没有成功完成。没有错误消息。也没有创建输出目录(这是假设发生的)。下面是workflow.xml${jobTracker}${nameNode}mapred.mapper.new-apitruemapre

shell - 使用 Oozie 执行 shell 脚本,作业始终仅处于运行状态

我需要oozie的帮助,我正在尝试运行一个创建HDFS文件夹的脚本,当我执行Oozie时它仅显示在运行状态,任何人都可以帮助我确定我的workflow.xml是否有问题或乔.属性。我尝试验证workflow.xml,它没有显示任何错误。workflow.xml${jobTracker}${nameNode}/user/nathalok/run.sh/user/nathalok/run.sh#run.shScriptfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]Job.propertiesnameNode=hdfs:

hadoop - 通过 Oozie 4.1.0.3 在 Spark 中运行 Hive 查询

使用Oozie版本4.1.0.3在Spark中运行Hive查询时获取表未找到异常,作为java操作。从hdfs路径复制hive-site.xml和hive-default.xml使用的workflow.xml:${jobTracker}${nameNode}${nameNode}/user/${wf:user()}/${appRoot}/env/devbox/hive-site.xmloozie.hive.defaults${nameNode}/user/${wf:user()}/${appRoot}/env/devbox/hive-default.xmlpool.name${etlP