需要一些建议我正在尝试在oozie中运行sqoop作业，但它突然被杀死并且oozie-error.log中有这个警告2018-01-2117:30:12,473WARNSqoopActionExecutor:523-SERVER[edge01.domain.com]USER[linknet]GROUP[-]TOKEN[]APP[sqoop-wf]JOB[0000006-180121122345026-oozie-link-W]ACTION[0000006-180121122345026-oozie-link-W@sqoop-node]LauncherERROR,reason:Mainc
我们知道，首先oozie运行一个hadoop作业，然后使用该作业运行其他hadoop应用程序。所以我想找到由oozie(hadoop)作业运行的那些hadoop应用程序(例如application_231232133)的列表。目前没有这样的api或命令。 最佳答案 如果您使用的是Oozie5.0或更高版本，那么这些作业的应用程序类型是“OozieLauncher”，而不是“MapReduce”，因此它们很容易被过滤掉。 关于hadoop-如何找到oozie(hadoop)作业运行的had
我有一个WorkflowOozie4.3，其中一个Action包含一个Shell:这将在失败后1分钟重新运行工作流，并将重复此操作10次。在每次失败后，是否有办法使工作流无限重新运行？ 最佳答案 不，您不能指定无限次重试。另一方面，它是一个整数，因此您可以指定一个足够大的数字，这样就可以像无穷大一样有效地工作。老实说，我认为指定太大的重试最大值不是一个好主意。 关于hadoop-失败时无限重新运行Oozie，我们在StackOverflow上找到一个类似的问题：
通过OozieWorkflow，我提交了一个shell脚本，其中包含spark-submit命令。我通过oozie控制台在hdfs/user/admin/first.sh中上传了shell脚本。当我运行脚本直到spark-submit命令时，它运行良好。当它尝试运行spark-submitcmd时，它失败了。本地文件系统中存在spark-submit的原因，但我的脚本正在hadoop管理员用户的hadoop文件系统中运行。任何解决这个问题的方法。如何在hadoop文件系统中从hadoop用户运行本地文件系统(spark-submit)命令，或者我可以在Oozi的帮助下将脚本从hadoo
我在hadoop1.0.3上运行oozie。我想了解是否必须在单个集群内的所有hadoop节点上安装oozie？仅将它安装在主节点(hadoop)上就足够了吗？我搜索了oozie文档，但找不到我的问题的答案。谢谢你，莫辛。 最佳答案 Oozie不需要安装在集群中的所有节点上。它可以安装在专用机器上或与任何其他框架一起安装。检查这个guide用于快速安装Oozie。请注意，Oozie有一个客户端和一个服务器组件。服务器组件有一个Scheduler和一个WorkFlow引擎。WorkFlow引擎使用hPDL(HadoopProcessD
我正在尝试使用hue中的oozie工作流执行MapReduce作业。当我提交作业时，oozie成功执行但我没有得到预期的输出。似乎从未调用过mapper或reducer。这是我的workflow.xml:${jobTracker}${nameNode}mapred.input.dir/user/root/jane/inputPathmapred.output.dir/user/root/jane/outputPath17mapred.mapper.classMapReduceGenerateReports.Mapmapred.reducer.classMapReduceGenerate
我正在尝试运行ClouderaSandbox(cloudera-quickstart-vm-4.4.0-1-vmware)附带的Oozie示例。我提取了/usr/share/doc/oozie-3.3.2+92中的oozie-examples.tar.gz如ApacheOozie链接所示，我尝试运行Oozie但没有成功https://oozie.apache.org/docs/4.0.1/DG_Examples.html[cloudera@localhostoozie-3.3.2+92]$ooziejob-ooziehttp://localhost:11000/oozie-config
我对Oozie和Pig还是陌生的。谁能告诉我如何在运行时使用Oozie或Pig重命名文件夹。我有一个pig脚本，它从输入文件夹中读取数据，然后将输出写入输出文件夹。流程是使用Oozie设计的。下次我运行Oozie文件夹时，应删除Input文件夹并将Output文件夹命名为Input。谢谢。等待回应 最佳答案 OozieFs(HDFS)操作可用于重命名目录。您可以引用此link在上面的链接中，您可以在workflow.xml中添加以下部分...... 关于hadoop-在Oozie或pig
Oozie是否支持用户通过RESTAPI安排临时Hive查询？我们正在构建一个用户可以在Hadoop中搜索文档的系统，支持用户(可选)指定要搜索的数据的某些属性，使用Hive对Hadoop执行查询。由于对可选字段的这种支持，我们无法提前知道Hive查询会是什么样子(就Hive查询中将使用哪些表而言)。我们有一项服务，在运行时，我们处理用户的查询以生成相应的Hive查询。我们希望能够通过Oozie安排这些查询，但我无法找到有关如何通过Oozie执行此操作的文档。我认为这是可能的。是否有可用的示例Java代码来描述如何执行此操作？ 最佳答案
我正在开发一个使用oozie来安排Hadoop作业的项目。但是最近oozie时不时抛出java.lang.ClassNotFoundException异常。我检查了错误日志，很确定将所有需要的jar文件放在目录lib下的hdfs中。以下是hadoop任务日志，最后10行是我需要的jar文件。但是当我检查节点上的distcache目录时，它是空的。它不会一直发生，只会在上次运行此工作流后几个小时发生。所以我怀疑hadoop清理了distcache，并且下次没有将jar文件复制到distcachedirecotry。但是oozie将在类路径中包含相同的目录，该目录是空的。有人遇到同样的问题
