草庐IT

Hadoop Pig 计数

coder 2024-01-05 原文

我正在学习如何使用 Hadoop Pig。

如果我有这样的输入文件:

a,b,c,true
s,c,v,false
a,s,b,true
...

最后一个字段是我需要计算的...所以我想知道这个文件中有多少“真”和“假”。

我尝试:

records = LOAD 'test/input.csv' USING PigStorage(',');
boolean = foreach records generate $3;
groups = group boolean all;

现在我卡住了。我想使用:

count = foreach groups generate count('true');"

要获取“true”的数量，但我总是得到错误:

2013-08-07 16:32:36,677 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: Could not resolve count using imports: [, org.apache.pig.builtin., org.apache.pig.impl.builtin.] Details at logfile: /etc/pig/pig_1375911119028.log

谁能告诉我问题出在哪里？

最佳答案

两件事。首先，count 实际上应该是 COUNT .在 pig 中，所有内置函数都应使用全大写字母调用。

其次，COUNT 计算一个包中值的数量，而不是一个值。因此，您应该按 true/false 分组，然后是 COUNT:

boolean = FOREACH records GENERATE $3 AS trueORfalse ;
groups = GROUP boolean BY trueORfalse ;
counts = FOREACH groups GENERATE group AS trueORfalse, COUNT(boolean) ;

所以现在 counts 的 DUMP 输出将类似于:

(true, 2)
(false, 1)

如果你想要他们自己关系中的真假计数，那么你可以FILTER counts 的输出。但是，SPLIT 可能会更好boolean，然后做两个单独的计数:

boolean = FOREACH records GENERATE $3 AS trueORfalse ;
SPLIT boolean INTO alltrue IF trueORfalse == 'true', 
                   allfalse IF trueORfalse == 'false' ;

tcount = FOREACH (GROUP alltrue ALL) GENERATE COUNT(alltrue) ;
fcount = FOREACH (GROUP allfalse ALL) GENERATE COUNT(allfalse) ;

关于Hadoop Pig 计数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18115071/

HadoopPigcodesectionbooleanmapreduceapache-pig

有关Hadoop Pig 计数的更多相关文章

  1. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

    尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

  2. ruby - 使用多个数组创建计数 - 2

    我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b'，'光盘'，'e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组，按顺序，这些数字可以产生x个字符，比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串，]current_combo['0','0','0']

  3. Ruby 计数数组对象，如果对象包含值 - 2

    我有一个数组:array=['Footballs','Baseball','football','Soccer']而且我需要计算看到Football或Baseball的次数，无论大小写和复数形式如何。这是我尝试做的，但没有成功:array.count{|x|x.downcase.include?'football'||x.downcase.include?'baseball'}编写这段代码的正确或更好的方法是什么？我正在寻找3作为答案。 最佳答案 我会将count与一个block结合使用，该block根据与您正在寻找的约束相匹配的正

  4. ruby - AWS 上远程机器上的进程计数 - 2

    我正在为在AmazonEC2实例上运行的应用程序设计一个AutoScaling系统。应用程序从SQS读取消息并对其进行处理。AutoScaling系统将监控两件事:SQS中的消息数量，所有EC2机器上运行的进程总数。例如，如果SQS中的消息数量超过3000，我希望系统自动缩放，创建一个新的EC2实例，在其上部署代码，当消息数量低于2000时，我希望系统终止EC2实例.我正在用Ruby和Capistrano做这件事。我的问题是:我无法找到一种方法来确定在所有EC2机器上运行的进程数并将该数字保存在变量中。你能帮帮我吗？ 最佳答案 您可

  5. ruby-on-rails - FactoryGirl工厂特征内的序列不使用主序列计数器 - 2

    我有以下工厂:FactoryGirl.definedofactory:foodosequence(:name){|n|"Foo#{n}"}trait:ydosequence(:name){|n|"Fooy#{n}"}endendend如果我跑create:foocreate:foocreate:foo,:y我得到Foo1,Foo2,Fooy1。但我想要Foo1,Foo2,Fooy3。我怎样才能做到这一点？ 最佳答案 经过smile2day'sanswer的一些提示后和thisanswer，我得出以下解决方案:FactoryGirl.

  6. ruby - 续集:如何使用分组和计数 - 2

    简单地说，我如何使用Sequel执行此查询？selecta.id,count(t.id)fromalbumsarightjointrackstont.album_id=a.idgroupbya.id 最佳答案 DB[:albums___a].right_join(:tracks___t,:album_id=>:id).select_group(:a__id).select_more{count(:t__id)} 关于ruby-续集:如何使用分组和计数，我们在StackOverflow上找

  7. ruby-on-rails - RSpec 检查数组的计数 - 2

    我正在测试我的ControllerAction以供练习。在我的Controller中，我只想从我的数据库中按名称获取所有不同的产品:defshop@products=Product.select('distincton(name)*').sort_by&:orderend我已经手动检查过了，它工作正常。现在我正在使用我的RSpec设置我的测试，我想测试@products是一个大于0的数组:RSpec.describePagesController,type::controllerdodescribe'GET#shop'doit'shouldgetallproudcts'doget:sh

  8. arrays - ruby 中的最佳排列计数算法 - 2

    我正在尝试计算由二进制形式的1和0的P数表示的数字的数量。如果P=2，则表示的数字为0011、1100、0110、0101、1001、1010，所以计数为6。我试过:[0,0,1,1].permutation.to_a.uniq但这不是大数的最佳解决方案(P可以什么可能是最好的排列技术，或者我们是否有任何直接的数学来做到这一点？ 最佳答案 Numberofpermutationcanbecalculatedusingfactorial.a=[0,0,1,1](1..a.size).inject(:*)#=>4!=>24要计算重复项，

  9. ruby-on-rails - Rails 计数器缓存及其实现 - 2

    我正在尝试掌握Rails计数器缓存功能，但无法完全掌握它。假设我们有3个模型ABCA属于B或C，取决于字段key_type和key_id。key_type表示A属于B还是C，因此如果key_type="B"则记录属于B，否则属于C。在我的模型a.rb中，我定义了以下关联:belongs_to:b,:counter_cache=>true,:foreign_key=>"key_id"belongs_to:c,:counter_cache=>true,:foreign_key=>"key_id"和在b和c模型文件中has_many:as,:conditions=>{:key_type=>"

  10. sql - 在 Rails 中进行计数的正确方法是什么？ - 2

    我有一个包含以下许多代码片段的Rails应用程序:Ouractivecommunityof我的问题是，这是计算观看次数的正确方法吗？看起来很“肮脏”，有没有更粗鲁的方法来计算？我可能在考虑命名范围，但我只是想确保这些类型的东西不会对性能产生更大的影响。谢谢你， 最佳答案 您不需要名称范围来执行计数。Account.where(:admin=>false).count但是命名作用域是使您的代码更具可重用性的绝佳方式。命名范围不会对您的应用程序产生任何明显的性能影响。 关于sql-在Rail

随机推荐