当我运行oozie作业时，它会被提交给某种oozie协调器，稍后作业会以我自己的身份运行(或者在我将作业提交给oozie的linux帐户下运行)。我猜oozie可以使用安全模拟(https://hadoop.apache.org/docs/r1.2.1/Secure_Impersonation.html)来模拟我，但是当在命令行上提交作业时，告诉oozie“提交此作业的用户是XXX”的机制是什么？该机制有多安全？oozie会阻止用户尝试提交作业，就好像他们是另一个用户一样吗？谢谢 最佳答案 具体配置的时候会在oozie-site.x
我想知道如何在Hue3.7中导出协调器，因为我认为在该版本中还无法通过UI导出。在Hue节点上是否有存储这些的地方，或者对配置进行一些手动练习？我需要导出一些用于备份/迁移目的。谢谢 最佳答案 3.7只有在数据库级别移动Hue表数据才有可能:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hue_database.html3.8使用Hue命令使其在CLI上更简单:http://gethue.com/export-a
我正在尝试使用oozie在配置单元脚本中加载文本/csv文件并每天安排它。文本文件在本地unix文件系统中。在oozie工作流中执行配置单元脚本之前，我需要将这些文本文件放入hdfs。在实时集群中，我们不知道作业将在哪个节点上运行。它会在集群中的任何一个节点上随机运行。谁能给我解决方案提前致谢。 最佳答案 不确定我明白你想做什么。在我看来，它行不通:Oozie服务器只能访问HDFS文件(与Hive相同)您的数据在某处的本地文件系统上那么为什么不事先将文件加载到HDFS中呢？可以在文件可用时(上游作业中的后处理操作)或在固定时间(使用
在Oozie中，我在Hue中使用了HiveAction。我想将查询的输出重定向到一个文件。我怎样才能生成这些文件？我的HQL是:从空的中选择*其中day>=${fromdate}和day我的HiveServer操作包含:一种。脚本b.每个日期都有两个参数选项，例如fromdate=,todate=C。添加了文件hive-site.xml。我的问题是如何将查询的输出重定向到文件 最佳答案 您需要执行不推荐的Shell操作，更好的解决方案可能是执行一个INSERTOVERWRITEDIRECTORY'/path'SELECT*FROMT
我正在使用HiveAction通过Oozie执行查询。我将TEZ和MR设置为查询的执行引擎。如何设置最大可能数量的reducer以执行查询？目前，我正在使用mapred.reduce.tasks但它需要一个静态数字。真正的问题是，当我在hiveCLI上执行相同的查询时，Hive选择的reducer数量是最优的，而不是1；那么我的Oozie作业缺少什么设置，它为所有查询选择1个reducer？ 最佳答案 通常控制Hive查询的reducer数量的理想方法是使用hive.exec.reducers.bytes.per.reducer属性
为了执行我的pig脚本，我需要关闭优化器。在命令行和脚本中使用以下命令可以正常工作。pig-tColumnMapKeyPrunepopulation.pig如何在oozie中传递这个选项？我试过作为参数传递。${jobTracker}${nameNode}Population.pig-tColumnMapKeyPrunepiggybankJar=${piggybankJar}datafuJar=${datafuJar}inputPath=${inputPath}outputPath=${outputPath}收到以下错误:E0701:XMLschemaerror,cvc-complex
在我的hadoopcluser上，我设计了一个具有以下属性的oozie工作流。mapred.job.queue.namemyQueueoozie.launcher.mapred.job.queue.nameoozie-launchertez.queue.namemyQueueoozie.job.acl*mapreduce.job.acl-modify-job*我担心的是oozie.job.acl属性，它应该提供一个允许每个人终止我的工作流程的acl。但是当我试图用不同于提交它的用户杀死它时，oozie返回错误E0508ooziejob-ooziehttp://localhost:1
我正在尝试使用oozie(霍顿作品)运行sqoop。这是我第一次尝试运行oozie工作流，但出现以下错误InvokingSqoopcommandlinenow1811[main]WARNorg.apache.sqoop.tool.SqoopTool-$SQOOP_CONF_DIRhasnotbeensetintheenvironment.Cannotcheckforadditionalconfiguration.2015-12-2116:58:45,913WARN[main]tool.SqoopTool(SqoopTool.java:loadPluginsFromConfDir(177
是否可以从oozie工作流调用驱动程序类。我看到的例子是指定mapper和reducer。我想调用驱动程序类，因为一些参数是从我的驱动程序类中设置的，需要传递这些参数。如果提供任何文档链接或指南，将会很有帮助。谢谢干杯:) 最佳答案 要使用oozie运行任何MapReduce作业，建议使用行动。在Oozie中作为一个Action紧密集成而不只是另一个Java程序有明显的优势。因为Oozie知道action运行一个Hadoop作业，它提供了对该作业的Hadoop计数器的轻松访问。如果将Hadoop作业作为调用，则保存和访问Hadoop
我正在尝试在Hue的Oozie编辑器中使用Sqoop操作，但是我无法让它工作。这是我到目前为止尝试过的方法。我将所有内容都放在参数中，而不是命令(http://alvincjin.blogspot.com.au/2014/06/create-sqoop-action-in-oozie-using-hue.html)此外，我正在尝试连接到Teradata，因此我将jdbcjar放在HDFS中，并将它们添加到文件中。这是当前工作流程在编辑器中的样子:SqoopAction.工作流定义是:Actionfailed,errormessage[${wf:errorMessage(wf:lastE
