草庐IT

协调者

全部标签

hadoop - 如何提交 oozie 协调员工作

我有一个在文件coordinator.xml中定义的oozie协调器作业,它运行一个在workflow.xml文件中定义的工作流作业。我想运行协调员作业,但是当我发出命令'ooziejob-ooziehttp://.../oozie/-config./job.properties-run'它运行工作流而不是协调器。我如何告诉它运行协调器而不是工作流? 最佳答案 我找到了解决方案,它基本上是将属性文件中的“oozie.wf.application.path”属性更改为“oozie.coord.application.path”

zookeeper分布式协调系统的架构设计与源码剖析

目录001_我们一般到底用ZooKeeper来干什么事儿?002_有哪些开源的分布式系统中使用了ZooKeeper?003_为什么我们在分布式系统架构中需要使用ZooKeeper集群?004_ZooKeeper为了满足分布式系统的需求要有哪些特点005_为了满足分布式系统的需求,ZooKeeper的架构设计有哪些特点?二、使用步骤1.引入库2.读入数据总结001_我们一般到底用ZooKeeper来干什么事儿?ZooKeeper顶尖高手课程:从实战到源码Kafka里面大量使用了ZooKeeper进行元数据管理、Master选举、分布式协调,Canal也是一样,ZooKeeper进行元数据管理,M

hadoop - Oozie 协调器应用程序在开始和结束时间的差异超过一小时后无法正常工作

我的oozie协调器应用程序有问题。案例一:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:小时(1)”操作数:1(预期为3)标称时间-1)2012-09-0713:00Z(预计还有两个。2012-09-0714:00Z,2012-09-0715:00Z)案例二:对于-开始="2012-09-0713:00Z"结束="2012-09-0716:00Z"频率="坐标:分钟(10)”Action数:6(预期为18)标称时间:1)2012-09-0713:00Z2)2012-09-0713:10Z3)2012-09-0713:20Z4)

hadoop - Oozie 协调器未以指定的频率间隔运行

我定义了一个Oozie协调员工作,如下所示:1${nameNode}/user/${user}/oozie/apps/DFE/queryGenerator-wfnameNode${nameNode}jobTracker${jobTracker}如您所见,我将频率定义为15分钟,并发为1。但是,作业每5分钟运行一次,它会同时启动我的工作流的4个实例,如下面的屏幕截图所示:我不明白为什么会这样,非常感谢您提供一些见解! 最佳答案 在这种情况下,我想您的开始时间是过去-如果您查看物化实例列,您会看到它们之间有15分钟的间隔。OOZIE在开

hadoop - oozie 协调器未生成输出事件

我的协调器应用成功地从输入事件中读取并在标称时间执行工作流,但是根本没有生成输出事件。我尝试在没有完成标志的情况下设置输出事件,但没有成功。我做错了什么?下面是我的coordinator.xml文件。303FIFO3/user/cloudera/inp_logs/${YEAR}_${MONTH}_${DAY}/user/cloudera/opt_logs/${YEAR}_${MONTH}_${DAY}_trigger${coord:current(0)}${coord:current(0)}${app_path} 最佳答案 好吧,我

hadoop - 将 Oozie 协调器的运行日期传播到工作流中

问题总结运行Oozie协调器时,我需要工作流能够以yyyyMMdd格式访问当前日期(即协调器运行的日期)。信息我有一个由协调器初始化的大型Oozie工作流。coord.propertiesnameNode=jobTracker=:8050queueName=defaultoozie.use.system.libpath=trueoozie.libpath=${nameNode}/project/workflow/liboozie.coord.application.path=${nameNode}/project/workflow协调器.xml:${nameNode}/project/

hadoop - Oozie 协调工作流

我需要根据命中同一个表的不同文件集运行多个mapreduce作业。我正在探索Oozie,但我并不完全了解Oozie。我的要求是1.根据时间限制(和/或)文件限制运行作业。2.如果某些文件不可用,则应跳过此步骤。3.用户应该能够配置哪些步骤以及每个步骤的优先级。任何人都可以建议Oozie是否符合我的要求?如果可以,我该如何完成?如果没有,是否有任何类似于VisualCron的免费或商业工具可供我们替换以运行mapreduce和基于java的作业? 最佳答案 基本上,您希望根据一天中预定时间的数据可用性为一堆MR作业运行oozie工作流

hadoop - 是否可以只用一个协调器启动一些 oozie 工作流?

我不确定如何使用好的工具来完成我想要的。我有很多工作流可以依赖也可以不依赖。例子:/工作流程1/workflow.xml/job.properties/工作流程2/workflow.xml/job.properties....我认为我们可以拥有一个可以启动(在某些数据条件下)所有工作流的协调器。但我开始认为这不是好的做法。我们是否应该为每个工作流程配备一名协调员,并提供所有执行条件+一个启动所有协调员的bundle?像那样:/wf1/workflow.xml/job.properties/协调器.xml/wf2/workflow.xml/job.properties/协调器.xml/b

android - 交互协调 : onStop and onResume

我有两个Activity。一个从数据库加载所有行,另一个保存到数据库。当我在onStop中进行第二次保存并且第一次在onResume中重新提取数据时,它们会乱序执行(第一次恢复然后第二次保存)。我设法通过将保存数据置于onPause来解决此问题,但为什么会这样?这是最干净的方法吗? 最佳答案 在第一个actvity的onPause中进行保存应该没问题。您发现Activity的前台生命周期发生在对onResume()的调用与对onPause()的相应调用之间。在此期间,该Activity位于屏幕上所有其他Activity的前面,并与用

android - 协调器布局重叠底部按钮

我正在设计我的XML,最初有一个与操作工具栏重叠的协调器布局。我四处阅读,发现添加app:layout_behavior="@string/appbar_scrolling_view_behavior属性有助于解决此问题。但是,在我的XML中,我仍然遇到协调器布局与预览屏幕底部按钮重叠的问题。我知道这些按钮实际上在手机本身上,但我仍然不明白为什么布局会延伸到这些项目上。看到下面与底部按钮重叠的图像,我不记得在引入协调器布局之前看到过这个: 最佳答案 当您添加app:layout_behavior="@string/appbar_sc