草庐IT

hadoop - oozie 不允许冒充 oozie

coder 2024-01-07 原文

我对 oozie 有点陌生。我在我的服务器上安装了(使用 cdh 存储库)oozie(我遵循了 CDH4 文档 [我的 hadoop 在 cdh4 中运行])。

我已使用以下信息更新我的 core-site.xml:

<!-- OOZIE -->
<property>
  <name>hadoop.proxyuser.oozie.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.oozie.groups</name>
  <value>*</value>
</property>
<!-- -->

但是当我开始工作时:

sudo -u oozie oozie job -oozie http://localhost:11000/oozie -config examples/apps/sqoopList/job.properties -run

我得到:

job: 0000004-130530171203897-oozie-oozi-W

但是当我查看 oozie webconsole 时，我可以看到我的工作，但我的工作状态为“START_RETRY” 出现以下错误

JA009: User: oozie is not allowed to impersonate oozie

而且我没有任何日志.....我真的不知道出了什么问题..

我不明白为什么我不能开始工作？ 你能帮我解决这个问题吗？

最佳答案

您可以尝试以下操作:

  1. 如果 Oozie 服务器和 Hadoop 守护进程位于不同的机器上，并且如果您使用 oozie 用户运行命令:您必须创建 oozie 用户和oozie hadoop 机器上的组。如果你有一个 Hadoop 集群，NameNode 在单独的机器上运行，请在 NameNode 机器上创建它们。如果使用 * 通配符，添加 oozie 组可能是多余的(我没有对此进行测试)；但您应该为 oozie 用户分配一个组。这样HDFS就可以收集用户的组信息。

这是我的配置:

<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>oozie</value>
</property>

2。添加 oozie 用户和组后，重新启动 hadoop 守护进程。当 hadoop 再次回来时，它将具有 oozie 用户的组映射。

HDFS 权限指南中说明了这些操作背后的逻辑:

Once a username has been determined as described above, the list of groups is determined by a group mapping service, configured by the hadoop.security.group.mapping property. The default implementation, org.apache.hadoop.security.ShellBasedUnixGroupsMapping, will shell out to the Unix bash -c groups command to resolve a list of groups for a user.

For HDFS, the mapping of users to groups is performed on the NameNode. Thus, the host system configuration of the NameNode determines the group mappings for the users.

以下 2 个链接可以提供有关 HDFS 权限的摘要。 https://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html http://blog.cloudera.com/blog/2012/03/authorization-and-authentication-in-hadoop/

关于hadoop - oozie 不允许冒充 oozie，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16831586/

ooziehadoopsection

有关hadoop - oozie 不允许冒充 oozie的更多相关文章

  1. ruby-on-rails - RSpec:避免使用允许接收的任何实例 - 2

    我正在处理旧代码的一部分。beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)endRubocop错误如下:Avoidstubbingusing'allow_any_instance_of'我读到了RuboCop::RSpec:AnyInstance我试着像下面那样改变它。由此beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)end对此:let(:sport_

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby - 允许主机名包含下划线的 URI.parse 的替代方法 - 2

    我正在使用DMOZ的listofurltopics，其中包含一些具有包含下划线的主机名的url。例如:608609TheOuterHeaven610InformationandimagegalleryofMcFarlane'sactionfiguresforTrigun,Akira,TenchiMuyoandotherJapaneseSci-Fianimations.611Top/Arts/Animation/Anime/Collectibles/Models_and_Figures/Action_Figures612虽然此url可以在网络浏览器中使用(或者至少在我的浏览器中可以使用:

  4. ruby - 为什么允许在 Ruby 类之外定义全局方法？ - 2

    我读过这个:Let’sstartwithasimpleRubyprogram.We’llwriteamethodthatreturnsacheery,personalizedgreeting.defsay_goodnight(name)result="Goodnight,"+namereturnresultend我的理解是，方法是定义在类中的函数或子程序，可以关联到类(类方法)或对象(实例方法)。那么，如果它不是在类中定义的，怎么可能是方法呢？ 最佳答案 当你在Ruby中以这种方式在全局范围内定义一个函数时，它在技术上变成了Obje

  5. ruby - 为什么 ruby​​ 中的变量前缀允许在方法调用中省略括号？ - 2

    在DavidFlanagan的TheRubyProgrammingLanguage中；松本幸弘theystatethatthevariableprefixes($,@,@@)areonepricewepayforbeingabletoomitparenthesesaroundmethodinvocations.谁可以给我解释一下这个？ 最佳答案 这是我不成熟的意见。如果我错了，请纠正我。假设实例变量没有@前缀，那么我们如何声明一个实例变量？classMyClassdefinitialize#Herefooisaninstanceva

  6. ruby-on-rails - 允许管理员激活或停用用户--Rails - 2

    我已经设法制作了一个仅用于注册和登录的应用程序。目前，我允许用户通过邮件帐户激活(按照本教程:https://www.railstutorial.org/book/account_activation_password_reset和“railsgeneratecontrollerAccountActivations--no-test-framework')但我希望管理员能够激活或停用用户。在我的用户模型中，我设法定义了两种方法:defactivate_account!update_attribute:is_active,trueenddefdeactivate_account!upda

  7. ruby-on-rails - 允许用户只输入特定的标签 - 2

    我正在制作一个应用程序，我需要用户使用所见即所得的编辑器输入描述。我不能信任用户输入，所以我只需要允许a、em、ul、li标签。我如何轻松剥离其他的？ 最佳答案 https://github.com/rgrove/sanitize/ 关于ruby-on-rails-允许用户只输入特定的标签，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/7390075/

  8. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  9. ruby-on-rails - 验证不允许使用特殊字符 - 2

    如何在我的模型中验证:title以便只接受字母a-z、A-z和0-9？validates:title,:format=>{with:REGULAREXPRESSION,:message=>'nospecialcharacters,onlylettersandnumbers'}正则表达式应该是什么？ 最佳答案 正则表达式为/^[a-zA-Z0-9]*$/您基本上定义了三个允许的符号范围，首先是a-z，然后是A-Z，最后是0-9。最后的星号定义需要匹配零个或多个前面所述的字符，这意味着允许使用空标题。如果您需要至少一个字符，请使用+而不

  10. ruby - capybara 增加最大允许页面加载时间 - 2

    我有一个页面，有时加载时间超过一分钟。假设这是预期的行为并且不会改变。在这些情况下，我得到Net::ReadTimeout。请注意，这是在通过单击上一页上的按钮导航到页面之后，而不是ajax请求。因此Capybara.using_wait_time没有帮助。我尝试了一些激进的方法(其中一些我知道行不通)，例如:设置page.driver.browser.manage.timeouts的implicit_wait、script_timeout和page_load。遍历整个对象空间并设置所有Selenium::WebDriver::Remote::Http::Default的timeout

随机推荐