草庐IT

hadoop - 命令 'oozie admin sharedliblist ...' 的空共享库

coder 2024-01-08 原文

我已经按照此处的说明安装了 oozie 并安装了共享库

http://mockus.in/forum/viewtopic.php?t=48

当我运行伴随安装的示例 MapReduce Workflow 时，工作流失败了。在 webconsole 日志中，我可以看到此错误消息

2015-05-24 18:09:32,664  WARN ActionStartXCommand:544 - 
SERVER[mountain] USER[mountain] GROUP[-] TOKEN[] APP[map-reduce-wf] 
JOB[0000000-150524175852032-oozie-moun-W] ACTION[0000000-150524175852032-
oozie-moun-W@mr-node] Error starting action [mr-node]. ErrorType [FAILED], 
ErrorCode [It should never happen], Message [File /user/mountain/share/lib 
does not exist]

我可以看到共享库在我的 hdfs 中可用

mountain@mountain:~/oo/conf$ hdfs dfs -ls share/lib/*
drwxr-xr-x   - mountain supergroup          0 2015-05-24 21:47 share/lib/lib_20150524214701/distcp
drwxr-xr-x   - mountain supergroup          0 2015-05-24 21:47 share/lib/lib_20150524214701/hcatalog
drwxr-xr-x   - mountain supergroup          0 2015-05-24 21:47 share/lib/lib_20150524214701/hive
drwxr-xr-x   - mountain supergroup          0 2015-05-24 21:47 share/lib/lib_20150524214701/mapreduce-streaming
drwxr-xr-x   - mountain supergroup          0 2015-05-24 21:47 share/lib/lib_20150524214701/oozie
drwxr-xr-x   - mountain supergroup          0 2015-05-24 21:47 share/lib/lib_20150524214701/pig
-rw-r--r--   3 mountain supergroup       1348 2015-05-24 21:47 share/lib/lib_20150524214701/sharelib.properties
drwxr-xr-x   - mountain supergroup          0 2015-05-24 21:47 share/lib/lib_20150524214701/sqoop

列出共享库的命令也返回空

mountain@mountain:~/oo/conf$ oozie admin -shareliblist -oozie http://localhost:11000/oozie
[Available ShareLib]

我是否缺少任何配置？

最佳答案

请注意您的用户名为 mountain 是 oozie-site.xml 属性

<property>
        <name>oozie.service.WorkflowAppService.system.libpath</name>
        <value>/user/${user.name}/share/lib</value>
        <description>
            System library path to use for workflow applications.
            This path is added to workflow application if their job properties sets
            the property 'oozie.use.system.libpath' to true.
        </description>
    </property>

声明将在上述位置添加共享库 jar 作为 /用户/山/share/lib 。注意:/user/${user.name} 是作业的用户名，它应该因机器而异。 确保您的共享库 jar 放置在 /user/mountain 下。提取 oozie 目录中的 .gz(tar) 文件，因为 oozie-sharelib-4.1.0 4.1.0 是 oozie 的版本，并将共享文件夹上传到 HDFS，如上述路径所示。

关于hadoop - 命令 'oozie admin sharedliblist ...' 的空共享库，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30431639/

sharedliblistampmountainoozielibhadoop

有关hadoop - 命令 'oozie admin sharedliblist ...' 的空共享库的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  3. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后，Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用，我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  4. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  5. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  6. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  7. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  8. ruby - 通过 ruby​​ 进程共享变量 - 2

    我正在编写一个gem，我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器，因为应该只有这两个服务器在运行，而不是多个。在运行时，我想调用这两个服务器上的一些方法来更改变量。我的问题是，我无法通过基类的类方法访问fork的实例变量。此外，我不能在我的基类中使用线程，因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了，比如@@server。但是当我试图通过基类访问这个变量时，它是nil。我读到在Ruby中不可能在分支之间共享类变量，对吗？那么，还有其他解决办法吗？我考虑过使用单例，但我不确定这是

  9. ruby-on-rails - 新 Rails 项目 : 'bundle install' can't install rails in gemfile - 2

    我已经像这样安装了一个新的Rails项目:$railsnewsite它执行并到达:bundleinstall但是当它似乎尝试安装依赖项时我得到了这个错误Gem::Ext::BuildError:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcheckingforlibkern/OSAtomic.h...yescreatingMakefilemake"DESTDIR="cleanmake"DESTDIR="

  10. ruby-on-rails - rspec should have_select ('cars' , :options => ['volvo' , 'saab' ] 不工作 - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion在首页我有:汽车:VolvoSaabMercedesAudistatic_pages_spec.rb中的测试代码:it"shouldhavetherightselect"dovisithome_pathit{shouldhave_select('cars',:options=>['volvo','saab','mercedes','audi'])}end响应是rspec./spec/request

随机推荐