草庐IT

hadoop - 在 FOREACH 中计算 SUM

coder 2024-01-09 原文

假设我有以下内容

DATA = foreach INPUT {
   //..
   generate group, count(name) as total;
}

我最终会得到一个键按名称分组的关系

('mike', 'someprop', 10)
('mike', 'otherprop', 3)
('doug', 'xprop', 5)
...

我想得到每个名字的前 10 名的总和:

ALIAS = group DATA by name;
RESULT = foreach ALIAS {
   SORTED = ORDER DATA by total desc;
   TOP10 = LIMIT SORTED 10;

   //doesn't work! can't have GROUP inside FOREACH
   AGG = group TOP10 ALL;
   TOPTOTAL = foreach AGG generate SUM(AGG.total);

   generate group, TOPTOTAL;
}

如何为 foreach 中的关系 计算值(SUM、COUNT、ETC)？目前无法在 foreach 中应用 GROUP ALL。

最佳答案

SUM 只是一个以包为参数的函数，您可以通过从 TOP10 投影来创建此包:

ALIAS = group DATA by name;
RESULT = foreach ALIAS {
   SORTED = ORDER DATA by total desc;
   TOP10 = LIMIT SORTED 10;
   generate group, SUM(TOP10.total);
}

关于hadoop - 在 FOREACH 中计算 SUM，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13385321/

中计FOREACHcodesectionhadoopmapreduceapache-pig

有关hadoop - 在 FOREACH 中计算 SUM的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby - 在Ruby中计算持续时间与毫秒之间的差异 - 2

    TL;DR:IneedtogetthedifferencebetweenHH:MM:SS.msandHH:MM:SS.msasHH:MM:SS:ms我需要什么:这是一个棘手的问题。我正在尝试计算两个时间戳之间的差异，如下所示:In:00:00:10.520Out:00:00:23.720应该交付:Diff:00:00:13.200我想我应该将时间解析为实际的Time对象并在那里使用差异。这在前一种情况下效果很好，并返回00:0:13.200。什么不起作用:然而，对于某些人来说，这并不能正常工作，因为Ruby使用usec而不是msec:In:00:2:22.760Out:00:2:31.

  3. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  4. ruby-on-rails - Ruby float 学 - Sum Calc 中的精度问题 - 2

    大家早上好我在float学方面遇到了一些问题，完全迷失在“.to_f”、“*100”和“.0”中!我希望有人能帮助我解决我的具体问题，并准确解释他们的解决方案为何有效，以便我下次理解这一点。我的程序需要做两件事:对一组小数求和，确定它们的和是否正好为1.0确定1.0与数字总和之间的差值-将变量的值设置为使总和等于1.0的精确差值。例如:[0.28,0.55,0.17]->总和应为1.0，但我一直得到1.xxxxxx。我正在以下列方式实现总和:sum=array.inject(0.0){|sum,x|sum+(x*100)}/100我需要此功能的原因是我正在读取一组来自excel的小数。

  5. ruby-on-rails - 在 View Rails 中计数 - 2

    在我的显示View中，我有一个要循环播放的项目列表。这一切都很好。但是，我想在每个项目前面得到一个数字，它随着每个循环递增(i=0，i++你知道这个练习)。现在，我如何在Rails中执行此操作？这是我现在得到的:"> 最佳答案 使用#each_with_index而不是在View中实例化变量!">. 关于ruby-on-rails-在ViewRails中计数，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.c

  6. ruby-on-rails - 在 Rails 中计算到下一个生日的天数 - 2

    我有一个模型，其中有一个名为birthday的date列。我如何计算距离用户下一个生日还有多少天？ 最佳答案 这是一个简单的方法。你要确保捕获今年已经通过的案例(以及尚未通过的案例)classUser=bday(bday-Date.today).to_iendend并证明这一点!(我添加的是timecopgem以保持计算截至今天(2012-10-16)的准确性require'test_helper'classUserTest 关于ruby-on-rails-在Rails中计算到下一个生日

  7. ruby - 在 Ruby 中计算一个字节的奇偶校验 - 2

    在Ruby中计算一个字节是奇校验还是偶校验的最佳方法是什么？我有一个可用的版本:result="AB".to_i(16).to_s(2).count('1').odd?=>true不过，将数字转换为字符串并计算“1”似乎是一种糟糕的计算奇偶校验的方法。有什么更好的方法吗？我希望能够计算3DESkey的奇偶校验。最终，我想将偶数字节转换为奇数。谢谢，丹 最佳答案 除非你拥有的速度不够快，否则请保留它。它清晰简洁，性能比您想象的要好。我们将根据数组查找对所有内容进行基准测试，这是我测试过的最快的方法:ODD_PARITY=[false,

  8. sql - Rails 3 Sum 两个领域的产品 - 2

    我需要计算我的Rails3应用中两个字段的乘积之和(即相当于Excel的sumproduct函数)。Rails中是否有一种方法可以帮助解决这个问题？如果没有，那么使用自定义sql的Rails代码是什么？例如，酒店有很多房间。房间具有sqft(平方英尺)、数量(该尺寸)和hotel_id的属性。我想计算给定酒店中所有房间的总平方英尺。在SQL中，对于Hotel.id=8，我相信以下语句会起作用:selectsum(rooms.sqft*rooms.quantity)asSumSqftfromroomsinnerjoinhotelsonrooms.hotel_id=hotels.idwhe

  9. ruby - 欧拉计划 1 :Find the sum of all the multiples of 3 or 5 below 1000 - 2

    我正在尝试使用ProjectEuler中的Ruby解决数学问题。Here是我尝试的第一个:Ifwelistallthenaturalnumbersbelow10thataremultiplesof3or5,weget3,5,6and9.Thesumofthesemultiplesis23.Findthesumofallthemultiplesof3or5below1000.请帮助我改进我的代码。total=0(0...1000).eachdo|i|total+=iif(i%3==0||i%5==0)endputstotal 最佳答案

  10. ruby - 我如何在 Ruby 中计算字符串的宽度？ - 2

    String.length只会告诉我字符串中有多少个字符。(其实在Ruby1.9之前，它只会告诉我多少个字节，这就更没用了。)我真的很想知道一个字符串有多少个“en”宽。例如:'foo'.width#=>3'moo'.width#=>3.5#m's,w's,etc.arewide'foi'.width#=>2.5#i's,j's,etc.arenarrow'foobar'.width#=>6.25#spacesareverynarrow如果我能得到字符串的第一个n就更好了:'foo'[0,2.en]#=>"fo"'filial'[0,3.en]#=>"fili"'foobarbaz'[

随机推荐