我有如下用例。hive中有一个表，其标志值为1或0。在oozie工作流中使用配置单元操作读取此配置单元表并检索此标志值。如果此标志为1，则调用sqoop操作，否则如果标志值为0，则终止此工作流并导出。如何从配置单元操作中获取配置单元查询的输出并将其用于oozie工作流决策制定。 最佳答案 有两种方法可以做到这一点。创建一个javaaction，直接通过jdbc连接到hive，进行列值查找。创建Oozieshell操作并在其中选择您的选择查询，如“hive-e”，以及您需要在工作流程下使用capture_output选项，还需要指定系
CDH5.5.2(hue--workflow--Editor)我们使用工作流编辑器(hue--workflow--Editor)创建了oozie工作流。当工作流失败/终止时，电子邮件通知会发送给开发团队。目前我们在电子邮件正文中添加了简单的文本。这对团队没有太大帮助，因为通知邮件中没有日志信息请让我知道如何在oozie(hue--workflow--Editor)中实现这一点或者可以添加失败节点的链接(例如:-/httyps://mymachine:8080/jobbrowser/jobs/job_1456590566111_5905/single_logs)
我想更改Oozie电子邮件操作的“发件人地址”并对oozie-site.xml进行了一些更改。我不确定如何应用我所做的更改。我们可以启动和停止服务，例如AWSEMR中的Oozie？谢谢，赛 最佳答案 ps-ef|grepoozie--只是为了检查oozie服务的名称sudostopooziesudostartoozie 关于hadoop-在AWSEMR中重启Oozie，我们在StackOverflow上找到一个类似的问题： https://stackoverf
我有一个带有distCp操作的工作流，它运行得相当好。但是，现在我正在尝试更改复制策略，但无法通过操作参数来实现。关于这个主题的文档相当薄弱，查看distCpAction执行器的源代码也无济于事。如果从命令行运行distCp我可以使用命令行参数-strategy{uniformsize|dynamic}设置复制策略。使用该逻辑，我尝试在oozie操作中执行此操作。${jobTracker}${nameNode}mapreduce.job.queuename${poolName}-Dmapreduce.job.queuename=${poolName}-Dmapreduce.job.na
我有第一个要求，我必须检查文件是否存在于给定的HDFS位置。如果文件存在，我必须测试文件的大小是否大于200字节。根据这两个结果，我必须向用户发送电子邮件通知。我可以借助下面的代码检查文件是否存在${fs:exists("/user/cloudera/trdat/test.txt")}我可以借助下面的代码检查文件大小${fs:fileSize("/user/cloudera/trdat/test.txt")gt200*B}我必须创建一个工作流程来检查文件是否存在，如果不存在，则发送电子邮件通知“文件不存在”，就像向用户发送该消息一样。如果存在，那么我们必须检查文件大小是否大于200字节
我正在尝试运行一个简单的Oozie作业，以使用Sqoop从本地MySQL数据库中提取数据。下面是我的workflow.xml:horton-n2.hdp.local:8050hdfs://horton-n1.hdp.local:8020mapred.compress.map.outputtrueimport--connectjdbc:mysql://horton-n1.hdp.local/sqooptest--tablesampledata--usernamesqoop--passwordsqoop123--target-dir--drivercom.mysql.jdbc.Driver
我正在构建一个应用程序以将数据从MYSQL数据库提取到配置单元表。应用程序将被安排每天执行。第一个Action是读取Hive表以加载导入表信息，例如名称、类型等，并在要导入的文件中创建表列表。接下来是一个SqoopAction，按顺序为每个表传输数据。是否可以创建一个shell脚本Oozie操作，它将遍历表列表并按顺序为每个表启动oozie子工作流Sqoop操作？你能提供一些引用吗？还有任何更好方法的建议! 最佳答案 我想出了以下包含Sqoop操作的shell脚本。通过一些环境变量调整，它可以正常工作。hdfs_path='hdfs
如何设置可以存在或不存在的Oozie协调器输入事件？请填写???对于以下内容:-130FIFO/time-independent/path/that/may/or/maynot/be/there???${myAppPath}myInput${coord:dataIn('myInput')}谢谢，阿尔瓦罗 最佳答案 数据集频率值将为${coord:days(1)}，因为您希望将其安排在每天。starttime将是您要开始作业时的值。例如。2017-01-22T12:00Z.因此，更新后的协调器xml将如下所示:-130FIFO/tim
我使用的是Oozie4.1.0。我部署了一个扩展Java操作的自定义操作。现在我需要部署除此之外的另一个版本。XSD将是相同，但操作代码有变化。我会将更新后的操作放入自定义包中，并对操作XSD进行版本控制。我想在自定义操作的构造函数中也应该更改类型名称，因为根据我对代码的判断，这需要是唯一的。但是，我如何才能在使用新版本的工作流XML中引用相同的操作名称？处理版本的推荐方法是什么？ 最佳答案 解决这个问题的步骤:应该将新版本的jar(操作)部署到Oozie应将新的XSD版本添加到oozie-site.xml下oozie.servic
我有一个shell脚本可以将数据从MySQL导入到hdfs即sqoopshell脚本。我想使用oozie来安排sqoop导入作业。脚本有以下sqoop查询sqoopimport--connect${domain}:${port}/${database}--username${username}--password${password}--query"select*from${table}where\$CONDITIONS"-m1--hive-import--hive-database${hivedatabase}--hive-table${table}--target-dir/user
