我正在尝试将所有符合特定条件的文件复制到一个文件夹中${NAME_NODE}${PATH_COMVERSE}${CURRENT_DATE_NO_DASH}_*/*mta.gz${NAME_NODE}${PATH_MTA}/${CURRENT_DATE_NO_DASH}_*中的符号*代表A或B或C等。它搜索所有文件夹。如果我使用${CURRENT_DATE_NO_DASH}_A，它只会搜索1个文件。我怎样才能让它从所有文件夹中只取出2个？我尝试执行(A|B)，但这没有用。 最佳答案 我假设这将是一个bash扩展，因为您的变量看起来像b

正如我的标题所说，oozie工作流仪表板未在UI上显示图表。随着研究，我发现了很多问题，JIRAS以及hortonworksportal中的问题，这真的对我没有帮助。我正在从命令行创建job.properties和workflow.xml并从命令行提交作业，通过UI执行不是我的选择。下面是我正在运行的示例工作流.XML${jobTracker}${nameNode}mapreduce.job.queuename${queueName}SCRIPT.sh${Path}/SCRIPT.sh#SCRIPT.sh${configFile}提前致谢!! 最佳答案

我设置了协调器和值和超时。协调器工作正常，因为它会检查输入文件是否在hdfs位置可用，只有在它运行工作流时才会超时。我在工作流中需要相同的行为，就像如果我只运行一个没有协调器的工作流，那么工作流的行为应该与上述协调器的行为相同。我试过mapred.input.dir但工作流程成功运行。有没有其他方法可以达到同样的效果。工作流是一个简单的helloworld作业，而不是map-reduce作业。 最佳答案 Wrokflow用于按需运行作业。您正在寻找的功能在Workflow中不可用。该功能由协调器提供。

在我们的应用程序中，我们希望一次只能运行一个oozie工作流。我们面临与第一个工作流中断的连接问题，并且由于第二个工作流开始。在YARN上，第一个工作流程仍在运行。我们收到以下错误消息:E0603:E0603:SQLerrorinoperation,Thelastpacketsuccessfullyreceivedfromtheserverwas94,669,212millisecondsago.Thelastpacketsentsuccessfullytotheserverwas94,669,212millisecondsago.islongerthantheserverconfig

我有一个在Hadoop集群的边缘节点上运行的pyspark代码。此pyspark代码执行从特征工程到ML训练和预测的各种步骤。代码在github上，我可以将它pull到边缘节点上。可以在yarn/client或yarn/cluster模式下使用spark-submit提交代码。到目前为止一切顺利。现在我想定期安排其中一些任务:我对边缘节点有一些限制，我不能使用crontab可能最好的选择是使用Oozie提交作业。我的问题是每次我做一些修改时如何在Haddop集群上以干净/简单的方式部署代码，以便可以使用Oozie进行调度(我猜Oozie是调度的最佳选择，因为它已经安装)我可以从edge

目前我的oozie工作流程中有6个操作，如下所示。在MainJob1完成后，所有第一个、第二个和第三个作业应该并行运行。MainJob2完成后，只有第二个和第三个作业应该并行运行。有没有可能解决上述工作流执行方式？....${executionModeeq"DEFAULT"}${executionModeeq"INVALID"}.............................................. 最佳答案 您可以将firstparalleljob、secondparalleljob和thirdparallel

我有一个HDFS_file_path或属性需要从workflow-1传递到common_subworkflow。我还有没有该属性或HDFS_file_path的workflow-2。但是workflow-2调用common_subworkflow。在common_subworkflow中，我使用${HDFS_file_path}获取属性值。当workflow-1调用common_subworkflow时工作正常，但当workflow-2调用common_subworkflow时失败，因为HDFS_file_path在workflow-2中不存在。有什么办法可以读取动态属性(如果存在)，

根据Oozie的文档，我尝试在Oozie上运行一个map-reduce的例子。众所周知，'workflow.xml'(和'coordinator.xml')应该在HDFS中。然后输入命令:ooziejob-ooziehttp://localhost:11000/oozie-configexamples/apps/map-reduce/job.properties-run。而且我也知道“job.properties”应该在本地文件系统中。但有两件事让我感到困惑:1.为什么workflow.xml中的jar或class变量来自HDFS的lib目录？2.oozie-examples-4.3.

oozie和Hadoop调度程序(FIFO、Fair、Capacity、Delay等)之间有什么区别？哪一个通常用于生产环境？ 最佳答案 它们提供不同的功能。Oozie是一个作业调度程序和编排引擎。它将在配置的队列中执行YARN作业。例如，mapreduce.job.queuename在MR/Java操作中，tez.queue.name在HiveAction中(在Tez上)，或--queue在星火。您使用的队列取决于您拥有的工作负载，但Fair或Capacity最适合Multi-Tenancy工作负载。如果您有需要在其他作业之前运行

我想为历史日期运行oozie协调器，并将日期作为参数传递给工作流中的脚本。我该怎么做？我可以将开始日期设为旧日期吗？它会catch吗？我应该添加什么频率。 最佳答案 是的，当您提交开始日期为过去的协调器时，它会catch。它会立即开始执行，因此设置concurrency=1可以使您的集群免于繁重的负载。如果你想先处理新文件，你也可以设置execution=LIFO。有关更多信息，请查看http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html我正在发布来自How