草庐IT

java - Hadoop MapReduce、Java实现问题

coder 2024-01-06 原文

目前我正在研究 Apache Hadoop(使用 MapReduce 作业的 Java 实现)。我查看了一些示例(例如 WordCount 示例)。我在编写自定义 mapreduce 应用程序方面取得了成功(我正在使用 Cloudera Hadoop Demo VM)。我的问题是关于一些实现和运行时问题。

作业类原型(prototype)如​​下:

public class WordCount {

  public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
    // mapping
      }
    }
  }

  public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
      // reducing
    }
  }

  public static void main(String[] args) throws Exception {
    JobConf conf = new JobConf(WordCount.class);
    conf.setJobName("wordcount");
    // setting map and reduce classes, and various configs
    JobClient.runJob(conf);
  }
}

我有一些问题，我试着用谷歌搜索它们，但我必须说 hadoop 的文档非常正式(就像一本大引用书)，不适合初学者。

我的问题:

  • Map 和 Reduce 类是否必须是静态内部类 Main 类，或者它们可以在任何地方(只是从 Main 可见？)
  • 您能否像在普通 Java SE 应用程序中那样使用 Java SE 和可用库必须提供的任何内容？我的意思是，例如 JAXB、Guava、JSON 的 Jackson 等
  • 编写通用解决方案的最佳做法是什么？我的意思是:我们希望以不同(但略微相似)的方式处理大量日志文件。日志文件的最后一个标记始终是包含一些条目的 JSON 映射。一种处理可能是:根据( map 中的 keyA，keyB)上的日志行进行计数和分组，另一种处理可能是:根据 map 中的(keyX，keyY)上的日志行进行计数和分组。 (我正在考虑一些基于配置文件的解决方案，您可以在其中为程序提供实际必要的条目，如果您需要新的解决方案，您只需提供配置并运行应用程序即可)。
  • 可能是相关的:在 WordCount 示例中，Map 和 Reduce 类是静态内部类，main() 对它们的影响为零，只是将这些类提供给框架。您能否使这些类成为非静态类，提供一些字段和一个构造函数以使用一些当前值(如我提到的配置参数)改变运行时。

也许我在不必要地挖掘细节。总体问题是:hadoop mapreduce 程序是否仍然是我们习惯的普通 JavaSE 应用程序？

最佳答案

这是你的答案。

  1. 只要 MapTask/ReduceTask 的类加载器能够加载映射器/缩减器类，映射器和缩减器类可以位于单独的 Java 类中，位于包结构的任何位置，也可以位于单独的 jar 文件中。您展示的示例是为 Hadoop 初学者提供的快速测试。

  2. 是的，您可以使用任何 Java 库。这些第三方 jar 应该通过 hadoop jar 命令的 -files 选项或使用 Hadoop API 提供给 MapTask/ReduceTask。看看这个链接here 有关将第三方库添加到 Map/Reduce 类路径的更多信息

  3. 是的，您可以使用这些方法中的任何一种来配置并将配置传递给 Map/Reduce 作业。

    3.1 如下使用org.apache.hadoop.conf.Configuration对象来设置客户端程序中的配置(带有main()方法的Java类

    配置 conf = new Configuration(); conf.set("config1", "value1"); Job job = new Job(conf, "整个文件输入");

Map/Reduce 程序可以访问 Configuration 对象并使用 get() 方法获取为属性设置的值。如果配置设置很小，建议使用此方法。

3.2 使用分布式缓存加载配置并使其在 Map/Reduce 程序中可用。点击here有关分布式缓存的详细信息。这种方法更可取。

4.main()是客户端程序，负责配置和提交Hadoop作业。如果未设置任何配置，则将使用默认设置。 Mapper 类、Reducer 类、输入路径、输出路径、输入格式类、reducer 数量等配置。例如:

此外，请查看文档 here关于作业配置

是的，Map/Reduce 程序仍然是 JavaSE 程序，但是，它们分布在 Hadoop 集群中的机器上。比方说，Hadoop 集群有 100 个节点并提交了字数统计示例。 Hadoop 框架为每个 Map 和 Reduce 任务创建 Java 进程，并在数据存在的机器子集上调用回调方法，例如 map()/reduce()。本质上，您的映射器/缩减器代码在数据存在的机器上执行。我建议您阅读 The Definitive Guide 的第 6 章

希望对您有所帮助。

关于java - Hadoop MapReduce、Java实现问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16355016/

MapReduceHadoopcodeReducejava

有关java - Hadoop MapReduce、Java实现问题的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  4. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  5. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

  6. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  7. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  8. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  9. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  10. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

随机推荐