草庐IT

hadoop - 运行时显示未找到映射器类

coder 2024-01-09 原文

map 0％减少0％
15/02/03 07:30:28 INFO mapreduce.Job:任务ID:try_1422885720829_0097_m_000000_0，状态:FAILED
错误:java.lang.RuntimeException:java.lang.ClassNotFoundException:找不到类org.cognizant.pr2.TroubleMapper
在org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)
在org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
在org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:721)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:339)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:162)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:396)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
原因:java.lang.ClassNotFoundException:未找到类org.cognizant.pr2.TroubleMapper
在org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1626)
在org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1718)
...另外8个

15/02/03 07:30:32 INFO mapreduce.Job:任务ID:try_1422885720829_0097_m_000000_1，状态:FAILED
错误:java.lang.RuntimeException:java.lang.ClassNotFoundException:类org.cognizant.pr2.TroubleMapper
在org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)
在org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
在org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:721)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:339)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:162)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:396)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
原因:java.lang.ClassNotFoundException:未找到类org.cognizant.pr2.TroubleMapper
在org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1626)
在org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1718)
...另外8个

15/02/03 07:30:35 INFO mapreduce.Job:任务ID:try_1422885720829_0097_m_000000_2，状态:FAILED
错误:java.lang.RuntimeException:java.lang.ClassNotFoundException:找不到类org.cognizant.pr2.TroubleMapper
在org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)
在org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
在org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:721)
在org.apache.hadoop.mapred.MapTask.run(MapTask.java:339)
在org.apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:162)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:396)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
原因:java.lang.ClassNotFoundException:找不到类org.cognizant.pr2.TroubleMapper
在org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1626)
在org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1718)
...另外8个

15/02/03 07:30:39 INFO mapreduce.Job: map 100％减少100％
15/02/03 07:30:39 INFO mapreduce.Job:作业job_1422885720829_0097因状态失败而失败，原因是:任务失败task_1422885720829_0097_m_000000
由于任务失败，作业失败。 failedMaps:1次失败减少:0次

15/02/03 07:30:39 INFO mapreduce。工作:计数器:6
工作柜台
失败的 map task = 4
启动的 map task = 4
其他本地 map task = 3
本地数据 map task = 1
所有 map 在占用的插槽中花费的总时间(ms)= 8357
所有设备花费的总时间减少，占用的时隙(ms)= 0

最佳答案

重新编译您的Java代码，并确保已存在运行jar作业的所有jar。

"su - hdfs" 

export HADOOP_CLASSPATH=`hbase classpath`

#### export HADOOP_CLASSPATH=/etc/hbase/conf:/usr/lib/hbase/*:jar

并运行MR代码!

关于hadoop - 运行时显示未找到映射器类，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28299251/

射器hadoopjavaapachemapreducehbase

有关hadoop - 运行时显示未找到映射器类的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  3. ruby-on-rails - Rails 编辑表单不显示嵌套项 - 2

    我得到了一个包含嵌套链接的表单。编辑时链接字段为空的问题。这是我的表格:Editingkategori{:action=>'update',:id=>@konkurrancer.id})do|f|%>'Trackingurl',:style=>'width:500;'%>'Editkonkurrence'%>|我的konkurrencer模型:has_one:link我的链接模型:classLink我的konkurrancer编辑操作:defedit@konkurrancer=Konkurrancer.find(params[:id])@konkurrancer.link_attrib

  4. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  5. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  6. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  7. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  8. ruby-on-rails - 使用 Sublime Text 3 突出显示 HTML 背景语法中的 ERB？ - 2

    所以我在关注Railscast，我注意到在html.erb文件中，ruby代码有一个微弱的背景高亮效果，以区别于其他代码HTML文档。我知道Ryan使用TextMate。我正在使用SublimeText3。我怎样才能达到同样的效果？谢谢! 最佳答案 为SublimeText安装ERB包。假设您安装了SublimeText包管理器*，只需点击cmd+shift+P即可获得命令菜单，然后键入installpackage并选择PackageControl:InstallPackage获取包管理器菜单。在该菜单中，键入ERB并在看到包时选择

  9. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  10. ruby-on-rails - link_to 不显示任何 rails - 2

    我试图在索引页中创建一个超链接，但它没有显示，也没有给出任何错误。这是我的index.html.erb代码。ListingarticlesTitleTextssss我检查了我的路线，我认为它们也没有问题。PrefixVerbURIPatternController#Actionwelcome_indexGET/welcome/index(.:format)welcome#indexarticlesGET/articles(.:format)articles#indexPOST/articles(.:format)articles#createnew_articleGET/article

随机推荐