草庐IT

oozie-workflow

全部标签

hadoop - 失败时无限重新运行 Oozie

我有一个WorkflowOozie4.3,其中一个Action包含一个Shell:这将在失败后1分钟重新运行工作流,并将重复此操作10次。在每次失败后,是否有办法使工作流无限重新运行? 最佳答案 不,您不能指定无限次重试。另一方面,它是一个整数,因此您可以指定一个足够大的数字,这样就可以像无穷大一样有效地工作。老实说,我认为指定太大的重试最大值不是一个好主意。 关于hadoop-失败时无限重新运行Oozie,我们在StackOverflow上找到一个类似的问题:

shell - 通过 Oozie 工作流提交的 shell 脚本中存在 Spark-submit 不起作用

通过OozieWorkflow,我提交了一个shell脚本,其中包含spark-submit命令。我通过oozie控制台在hdfs/user/admin/first.sh中上传了shell脚本。当我运行脚本直到spark-submit命令时,它运行良好。当它尝试运行spark-submitcmd时,它失败了。本地文件系统中存在spark-submit的原因,但我的脚本正在hadoop管理员用户的hadoop文件系统中运行。任何解决这个问题的方法。如何在hadoop文件系统中从hadoop用户运行本地文件系统(spark-submit)命令,或者我可以在Oozi的帮助下将脚本从hadoo

hadoop - oozie 应该安装在单个 hadoop 集群内的所有 hadoop 节点上吗?

我在hadoop1.0.3上运行oozie。我想了解是否必须在单个集群内的所有hadoop节点上安装oozie?仅将它安装在主节点(hadoop)上就足够了吗?我搜索了oozie文档,但找不到我的问题的答案。谢谢你,莫辛。 最佳答案 Oozie不需要安装在集群中的所有节点上。它可以安装在专用机器上或与任何其他框架一起安装。检查这个guide用于快速安装Oozie。请注意,Oozie有一个客户端和一个服务器组件。服务器组件有一个Scheduler和一个WorkFlow引擎。WorkFlow引擎使用hPDL(HadoopProcessD

hadoop - 在 hue 中使用 oozie 工作流执行 MapReduce 作业给出错误的输出

我正在尝试使用hue中的oozie工作流执行MapReduce作业。当我提交作业时,oozie成功执行但我没有得到预期的输出。似乎从未调用过mapper或reducer。这是我的workflow.xml:${jobTracker}${nameNode}mapred.input.dir/user/root/jane/inputPathmapred.output.dir/user/root/jane/outputPath17mapred.mapper.classMapReduceGenerateReports.Mapmapred.reducer.classMapReduceGenerate

hadoop - 运行 Oozie 时出现问题

我正在尝试运行ClouderaSandbox(cloudera-quickstart-vm-4.4.0-1-vmware)附带的Oozie示例。我提取了/usr/share/doc/oozie-3.3.2+92中的oozie-examples.tar.gz如ApacheOozie链接所示,我尝试运行Oozie但没有成功https://oozie.apache.org/docs/4.0.1/DG_Examples.html[cloudera@localhostoozie-3.3.2+92]$ooziejob-ooziehttp://localhost:11000/oozie-config

hadoop - 在 Oozie 或 pig 中运行时重命名文件夹

我对Oozie和Pig还是陌生的。谁能告诉我如何在运行时使用Oozie或Pig重命名文件夹。我有一个pig脚本,它从输入文件夹中读取数据,然后将输出写入输出文件夹。流程是使用Oozie设计的。下次我运行Oozie文件夹时,应删除Input文件夹并将Output文件夹命名为Input。谢谢。等待回应 最佳答案 OozieFs(HDFS)操作可用于重命名目录。您可以引用此link在上面的链接中,您可以在workflow.xml中添加以下部分...... 关于hadoop-在Oozie或pig

java - 使用 Oozie 通过 Hive/Hadoop 安排临时查询

Oozie是否支持用户通过RESTAPI安排临时Hive查询?我们正在构建一个用户可以在Hadoop中搜索文档的系统,支持用户(可选)指定要搜索的数据的某些属性,使用Hive对Hadoop执行查询。由于对可选字段的这种支持,我们无法提前知道Hive查询会是什么样子(就Hive查询中将使用哪些表而言)。我们有一项服务,在运行时,我们处理用户的查询以生成相应的Hive查询。我们希望能够通过Oozie安排这些查询,但我无法找到有关如何通过Oozie执行此操作的文档。我认为这是可能的。是否有可用的示例Java代码来描述如何执行此操作? 最佳答案

java - Oozie 抛出 java.lang.ClassNotFoundException

我正在开发一个使用oozie来安排Hadoop作业的项目。但是最近oozie时不时抛出java.lang.ClassNotFoundException异常。我检查了错误日志,很确定将所有需要的jar文件放在目录lib下的hdfs中。以下是hadoop任务日志,最后10行是我需要的jar文件。但是当我检查节点上的distcache目录时,它是空的。它不会一直发生,只会在上次运行此工作流后几个小时发生。所以我怀疑hadoop清理了distcache,并且下次没有将jar文件复制到distcachedirecotry。但是oozie将在类路径中包含相同的目录,该目录是空的。有人遇到同样的问题

java - 从 Oozie shell 运行的 jar 写入文件

我有jar在运行我们的mapreduce过程之前需要运行的文件。这将处理稍后输入到mapreduce过程的数据。jar文件在没有oozie的情况下工作正常,但我喜欢自动化工作流程。jar如果运行应该接受两个输入:和并且应该期望输出两个文件,在下指定。这是工作流程:${jobTracker}${nameNode}java-jarRI-Sequencer.jarlog.csv/tmp/user/root/algo/RI-Sequencer.jar#RI-Sequencer.jar/user/root/algo/log.csv#log.csvActionfailed,errormessage

java - Hadoop Oozie 工作流没有获得协调器属性

我有一个简单的Oozie协调器和工作流程。我正在尝试将协调器的dataIn属性传递给工作流,如下所述:https://oozie.apache.org/docs/3.2.0-incubating/CoordinatorFunctionalSpec.html#a6.7.1._coord:dataInString_name_EL_Function由于某种原因,在以下示例中,工作流属性中的值为空并且EL变量${inputDir}为空。实际错误是:variable[inputDir]cannotberesolved配置协调器.xml13801LIFO${s3DataPath}/${YEAR}-