我在HDP2.5.3和oozie4.2.0上运行。spark操作设置为以yarn-client模式运行。SparkJob用于从hive表中获取数据，对其进行处理并将其存储在HDFS中。但是当我尝试从SparkAction提交Spark应用程序时，我得到了NullPointerException。workflow.xml${job_tracker}${name_node}hive2.jdbc.url${hive_beeline_server}hive2.server.principal${hive_kerberos_principal}${job_tracker}${name_node}
我正在尝试在以下工具的帮助下执行Oozie作业网址:https://www.safaribooksonline.com/library/view/apache-oozie/9781449369910/ch05.html执行时ooziejob-run-configtarget/example/job.properties获取错误为:Connectionexceptionhasoccurred[java.net.ConnectExceptionConnectionrefused(Connectionrefused)].Tryingafter1sec.Retrycount=1Connecti
我已经使用cron表达式安排了一个协调器frequency="203**2-4"但它给出了错误。oozie协调器日志显示“java.lang.IllegalArgumentException”:paramter[frequency]=[203**2-4]mustbeaninteger。输入字符串的解析错误:“203**2-4”HDP版本:2.5.3Oozie客户端构建版本:4.2.0.2.5.3.0-37.... 最佳答案 您正在请求Oozie为协调器应用XML模式...在该模式的0.2版本中。文档暗示CRONsyntaxworke
假设我有一个工作流操作，我需要从hdfs获取和使用一个文件(如果它存在)但不会失败。有没有办法在工作流配置中执行此操作？所以，如果我有这样的东西:AJavaProgram...-filesproperties.json...${concat(additionsPath,"properties.json")}...只要该属性文件存在于hdfs中正确的位置，它就可以正常工作，但如果不存在，工作流就会失败。如果不存在要从HDFS复制的文件，有没有办法让它不失败？一种使文件从workflow.xml中可选的方法？ 最佳答案 每个Action
我有一个带有sqoop操作的oozie工作流，我希望从命令行获取这些sqoop操作的日志(标准输出)。这是我认为可行的方法:oozie作业-info0000002-170819062150496-oozie-oozi-W打印Action的job_ids:------------------------------------------------------------------------------------------------------------------------------------0000002-170819062150496-oozie-oozi-W@
bin/mkdistro.sh-DskipTests-X的日志[INFO]ApacheOozieCore..................................FAILURE[52.316s][INFO]ApacheOozieShareLibStreaming...................SKIPPED[INFO]ApacheOozieShareLibPig.........................SKIPPED[INFO]ApacheOozieShareLibHive........................SKIPPED[INFO]ApacheOo
我正在使用CDH5.9.0、Spark1.6和Scala2.10.0。我创建了一个scala和spark程序来创建一个表并将数据从文件加载到配置单元。当我使用sparksubmit运行它时，它完成了。但是同样的程序通过oozie提交时，会抛出下面的异常。以下是异常(exception)。LogType:stdoutLogUploadTime:FriOct2710:08:28-04002017LogLength:1725842017-10-2710:08:20,652INFO[main]yarn.ApplicationMaster(SignalLogger.scala:register(
我正在尝试从Oozie运行一个spark作业(使用spark2-submit)，所以这个作业可以按计划运行。当运行我们从命令行在我们的服务帐户(不是Yarn)下运行shell脚本时，作业运行得很好。当我们将它作为Oozie工作流运行时，会发生以下情况:17/11/1612:03:55ERRORspark.SparkContext:ErrorinitializingSparkContext.org.apache.hadoop.security.AccessControlException:Permissiondenied:user=yarn,access=WRITE,inode="/us
需要一些建议我正在尝试在oozie中运行sqoop作业，但它突然被杀死并且oozie-error.log中有这个警告2018-01-2117:30:12,473WARNSqoopActionExecutor:523-SERVER[edge01.domain.com]USER[linknet]GROUP[-]TOKEN[]APP[sqoop-wf]JOB[0000006-180121122345026-oozie-link-W]ACTION[0000006-180121122345026-oozie-link-W@sqoop-node]LauncherERROR,reason:Mainc
我们知道，首先oozie运行一个hadoop作业，然后使用该作业运行其他hadoop应用程序。所以我想找到由oozie(hadoop)作业运行的那些hadoop应用程序(例如application_231232133)的列表。目前没有这样的api或命令。 最佳答案 如果您使用的是Oozie5.0或更高版本，那么这些作业的应用程序类型是“OozieLauncher”，而不是“MapReduce”，因此它们很容易被过滤掉。 关于hadoop-如何找到oozie(hadoop)作业运行的had
