我有一个映射器，它输出句子中的每个字母，这是键，数字 1 作为它的值。例如，我的映射器将“你好吗”输出为
H 1
o 1
w 1
a 1
r 1
e 1
y 1
o 1
u 1
我的 reducer 接受它并使用 1 来计算每个字母的出现次数。例如，它会输出字母“o”作为键，输出 2 作为它的值，因为它出现了两次。
我的问题是我想计算每个字母在句子中出现的频率。为此，我需要访问句子中字母的总数(映射器输出的数量)。我是 mapreduce 的新手，所以我不确定最好的方法。
最佳答案
假设您的映射器正在获取一个完整的句子，您试图在其中找到频率并且您正在使用 Java API，您可以通过 context.write(...) 从映射器输出两个键。功能:
映射器的 Java 语法:public void map(LongWritable key, Text value, Context context)
<lineNo_Letter> ;值:c_m <lineNo_Letter> ;值:t_n 在哪里
lineNo = same as key to the mapper (the first parameter to the above function) letter = your desired letter m = <total number of letters in the line (the 2nd parameter to the above function) input to the mapper> n = <number of occurrence of letter in the line (the 2nd parameter to the above function) mapper input line>
c_和 a_只是标识计数类型的前缀。 c代表字母的出现；同时t代表总出现次数。
基本上，我们在这里利用的概念是，您可以从映射器/缩减器写入任意数量的键值。
现在 reducer 会得到类似的东西
键:<lineNo_letter>值:ListOf[c_m, t_n]
现在，只需遍历列表，用分隔符 _ 将其拆分并借助标识符前缀( t 和 c )；您在 reducer 中有所需的值。即
Total number of letter in the sentence = m
Total number of occurrence of the letter = n
以您的示例为例，假设映射器函数的输入行 public void map(LongWritable key, Text value, Context context)是
LongWritable key = 1
Text value = howareyou
映射器的输出应该是:
-- Output length of the Text Value against each letter
context.write("1_h", "t_9");
context.write("1_o", "t_9");
context.write("1_w", "t_9");
context.write("1_a", "t_9");
context.write("1_r", "t_9");
context.write("1_e", "t_9");
context.write("1_y", "t_9");
context.write("1_u", "t_9");
请注意，上面的输出是来自映射器的句子的每个字母一次。这就是为什么信o仅输出一次(即使它在输入中出现两次)。
映射器代码的更多输出将是
-- Output individual letter count in the input text as
context.write("1_h", "c_1");
context.write("1_o", "c_2");
context.write("1_w", "c_1");
context.write("1_a", "c_1");
context.write("1_r", "c_1");
context.write("1_e", "c_1");
context.write("1_y", "c_1");
context.write("1_u", "c_1");
同样，您可以看到字母 o的值(value)为 c_2因为它在句子中出现了两次。
现在将产生 8 个 reducer，每个都将获得以下键值对之一:
key: "1_h" value: ListOf["t_9", "c_1"]
key: "1_o" value: ListOf["t_9", "c_2"]
key: "1_w" value: ListOf["t_9", "c_1"]
key: "1_a" value: ListOf["t_9", "c_1"]
key: "1_r" value: ListOf["t_9", "c_1"]
key: "1_e" value: ListOf["t_9", "c_1"]
key: "1_y" value: ListOf["t_9", "c_1"]
key: "1_u" value: ListOf["t_9", "c_1"]
现在在每个 reducer 中，拆分键以获取行号和字母。 遍历值列表以提取总数和字母出现次数。
信件出现频率h第 1 行 = Integer.parseInt("c_1".split("_")[1])/Integer.parseInt("t_9".split("_")[1])
这是你实现的伪逻辑。
关于java - Hadoop MapReduce 在 reducer 中访问 mapper 输出数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48934671/
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar
我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah
我正在使用puppet为ruby程序提供一组常量。我需要提供一组主机名，我的程序将对其进行迭代。在我之前使用的bash脚本中，我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是，我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这
我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作)，这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以
我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/
这是一道面试题，我没有答对，但还是很好奇怎么解。你有N个人的大家庭，分别是1,2,3,...,N岁。你想给你的大家庭拍张照片。所有的家庭成员都排成一排。“我是家里的friend，建议家庭成员安排如下:”1岁的家庭成员坐在这一排的最左边。每两个坐在一起的家庭成员的年龄相差不得超过2岁。输入:整数N，1≤N≤55。输出:摄影师可以拍摄的照片数量。示例->输入:4，输出:4符合条件的数组:[1,2,3,4][1,2,4,3][1,3,2,4][1,3,4,2]另一个例子:输入:5输出:6符合条件的数组:[1,2,3,4,5][1,2,3,5,4][1,2,4,3,5][1,2,4,5,3][
我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www
我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我
我想使用spawn(针对多个并发子进程)在Ruby中执行一个外部进程，并将标准输出或标准错误收集到一个字符串中，其方式类似于使用Python的子进程Popen.communicate()可以完成的操作。我尝试将:out/:err重定向到一个新的StringIO对象，但这会生成一个ArgumentError，并且临时重新定义$stdxxx会混淆子进程的输出。 最佳答案 如果你不喜欢popen，这是我的方法:r,w=IO.pipepid=Process.spawn(command,:out=>w,:err=>[:child,:out])