草庐IT

Mesos 上的 Hadoop 失败并显示 "Could not find or load main class org.apache.hadoop.mapred.MesosExecutor"

coder 2024-01-06 原文

我有一个 Mesos 集群设置——我已经验证主节点可以看到从节点——但是当我尝试运行 Hadoop 作业时,所有任务都以 LOST 状态结束。所有从站 stderr 日志中都存在相同的错误:

Error: Could not find or load main class org.apache.hadoop.mapred.MesosExecutor

这是 stderr 日志中唯一的一行。

按照 http://mesosphere.io/learn/run-hadoop-on-mesos/ 上的说明进行操作,我在 HDFS 上放置了一个修改后的 Hadoop 分布,每个从站都可以访问它。 在 Hadoop 发行版的 lib 目录中,我添加了 hadoop-mesos-0.0.4.jarmesos-0.14.2.jar .

我已经验证每个从属确实下载了这个 Hadoop 发行版,并且 hadoop-mesos-0.0.4.jar 包含类 org.apache.hadoop.mapred.MesosExecutor ,所以我无法弄清楚为什么找不到该类。

我正在使用来自 CDH4.4.0 和 mesos-0.15.0-rc4 的 Hadoop。

有没有人对可能出现的问题有任何建议?我知道我总是从 CLASSPATH 问题开始,但是,在这种情况下,mesos-slave 正在下载、解包并尝试运行 Hadoop TaskTracker,所以我可以想象任何 CLASSPATH 将由 mesos-slave 设置。

在从属日志的标准输出中,打印了环境。有一个 MESOS_HADOOP_HOME 是空的。这应该设置为什么吗?如果要设置为下载的Hadoop发行版,我不能提前设置,因为Hadoop发行版每次都下载到一个新的位置。

在相关事件中(可能存在一些权限问题),当尝试通过主 UI 浏览从属日志时,我收到错误 Error browsing path: ...。 当我手动执行操作时,运行 mesos-slave 的用户可以浏览到正确的目录。

最佳答案

我发现了问题。 bin/hadoop下载的 Hadoop 发行版尝试通过运行 which $0 来查找其位置.但是,如果存在一个当前的 Hadoop 安装(即 /usr/lib/hadoop ),它将找到一个当前的 Hadoop 安装,并将加载该安装的 lib 下的 jar。目录而不是下载的 lib目录。

我不得不修改 bin/hadoop下载的发行版找到自己的位置 dirname $0而不是 which $0 .

关于Mesos 上的 Hadoop 失败并显示 "Could not find or load main class org.apache.hadoop.mapred.MesosExecutor",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20200506/

有关Mesos 上的 Hadoop 失败并显示 "Could not find or load main class org.apache.hadoop.mapred.MesosExecutor"的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本,我按照提供的说明安装了arubagem。它在我的Gemfile中,我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作,我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了,但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  4. ruby-on-rails - date_field_tag,如何设置默认日期? [ rails 上的 ruby ] - 2

    我想设置一个默认日期,例如实际日期,我该如何设置?还有如何在组合框中设置默认值顺便问一下,date_field_tag和date_field之间有什么区别? 最佳答案 试试这个:将默认日期作为第二个参数传递。youcorrectlysetthedefaultvalueofcomboboxasshowninyourquestion. 关于ruby-on-rails-date_field_tag,如何设置默认日期?[rails上的ruby],我们在StackOverflow上找到一个类似的问

  5. ruby-on-rails - openshift 上的 rails 控制台 - 2

    我将我的Rails应用程序部署到OpenShift,它运行良好,但我无法在生产服务器上运行“Rails控制台”。它给了我这个错误。我该如何解决这个问题?我尝试更新ruby​​gems,但它也给出了权限被拒绝的错误,我也无法做到。railsc错误:Warning:You'reusingRubygems1.8.24withSpring.UpgradetoatleastRubygems2.1.0andrun`gempristine--all`forbetterstartupperformance./opt/rh/ruby193/root/usr/share/rubygems/rubygems

  6. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  7. ruby-on-rails - 相关表上的范围为 "WHERE ... LIKE" - 2

    我正在尝试从Postgresql表(table1)中获取数据,该表由另一个相关表(property)的字段(table2)过滤。在纯SQL中,我会这样编写查询:SELECT*FROMtable1JOINtable2USING(table2_id)WHEREtable2.propertyLIKE'query%'这工作正常:scope:my_scope,->(query){includes(:table2).where("table2.property":query)}但我真正需要的是使用LIKE运算符进行过滤,而不是严格相等。然而,这是行不通的:scope:my_scope,->(que

  8. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  9. 使用 ACL 调用 upload_file 时出现 Ruby S3 "Access Denied"错误 - 2

    我正在尝试编写一个将文件上传到AWS并公开该文件的Ruby脚本。我做了以下事情:s3=Aws::S3::Resource.new(credentials:Aws::Credentials.new(KEY,SECRET),region:'us-west-2')obj=s3.bucket('stg-db').object('key')obj.upload_file(filename)这似乎工作正常,除了该文件不是公开可用的,而且我无法获得它的公共(public)URL。但是当我登录到S3时,我可以正常查看我的文件。为了使其公开可用,我将最后一行更改为obj.upload_file(file

  10. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

随机推荐