草庐IT

hadoop - 如何用 Pig 将 (A, B, C) 变成 (AB, AC, BC)？

coder 2024-01-07 原文

在 Pig 中，给定以下 Bag:(A, B, C)，我能否以某种方式计算所有值的唯一组合？ 我正在寻找的结果类似于 (AB, AC, BC)。 我忽略了 BA、CA、CB，因为如果按字母顺序排序，它们将成为现有值的副本。

最佳答案

做这样的事情的唯一方法是编写一个 UDF。这将完全按照您的要求进行:

public class CombinationsUDF extends EvalFunc<DataBag> {
    public DataBag exec(Tuple input) throws IOException {
        List<Tuple> bagValues = new ArrayList<Tuple>();
        Iterator<Tuple> iter = ((DataBag)input.get(0)).iterator();
        while (iter.hasNext()) {
            bagValues.add(iter.next());
        }

        List<Tuple> outputTuples = new ArrayList<Tuple>();
        for (int i = 0; i < bagValues.size() - 1; i++) {
            List<Object> currentTupleValues = bagValues.get(i).getAll();

            for (int j = i + 1; j < bagValues.size(); j++) {
                List<Object> aux = new ArrayList<Object>(currentTupleValues);
                aux.addAll(bagValues.get(j).getAll());
                outputTuples.add(TupleFactory.getInstance().newTuple(aux));
            }
        }

        DataBag output = BagFactory.getInstance().newDefaultBag(outputTuples);
        return output;
    }
}

关于hadoop - 如何用 Pig 将 (A, B, C) 变成 (AB, AC, BC)？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29994246/

何用hadoopsectionbagValuesTupleapache-pig

有关hadoop - 如何用 Pig 将 (A, B, C) 变成 (AB, AC, BC)？的更多相关文章

  1. 神州数码无线产品（AC+AP）配置 - 2

    注意：本文主要掌握DCN自研无线产品的基本配置方法和注意事项，能够进行一般的项目实施、调试与运维AP基本配置命令AP登录用户名和密码均为：adminAP默认IP地址为：192.168.1.10AP默认情况下DHCP开启AP静态地址配置：setmanagementstatic-ip192.168.10.1AP开启/关闭DHCP功能：setmanagementdhcp-statusup/downAP设置默认网关：setstatic-ip-routegeteway192.168.10.254查看AP基本信息：getsystemgetmanagementgetmanaged-apgetrouteAP配

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby-on-rails - 如何用不同的用户运行nginx主进程 - 2

    A/ctohttp://wiki.nginx.org/CoreModule#usermaster进程曾经以root用户运行，是否可以以不同的用户运行nginxmaster进程？ 最佳答案 只需以非root身份运行init脚本(即/etc/init.d/nginxstart)，就可以用不同的用户运行nginxmaster进程。如果这真的是你想要做的，你将需要确保日志和pid目录(通常是/var/log/nginx&/var/run/nginx.pid)对该用户是可写的，并且您所有的listen调用都是针对大于1024的端口(因为绑定(

  4. ruby - 如何用递增的值填充数组 Ruby - 2

    我正在尝试解决http://projecteuler.net/problem=1.我想创建一个方法，它接受一个整数，然后创建一个包含它前面的所有整数的数组，并将整数本身作为数组中的值。以下是我目前所拥有的。代码不起作用。defmake_array(num)numbers=Array.newnumcount=1numbers.eachdo|number|numbers 最佳答案 (1..num).to_a是您在Ruby中需要做的全部。1..num将创建一个Range对象，以1开始并以任意值num结束是。Range对象有to_a方法通过

  5. ruby - 如何用 Nokogiri 解析连续的标签？ - 2

    我有这样的HTML代码:Label1Value1Label2Value2...我的代码不起作用。doc.css("first").eachdo|item|label=item.css("dt")value=item.css("dd")end显示所有首先标记，然后标记标签，我需要“标签:值” 最佳答案 首先，您的HTML应该有和中的元素:Label1Value1Label2Value2...但这不会改变您解析它的方式。你想找到s并遍历它们，然后在每个你可以使用next_element得到;像这样:doc=Nokogiri::HTML(

  6. ruby-on-rails - 如何用 has_many 保存数据 :through - 2

    我在游戏和帐户模型之间存在多对多关系，如下所示:classAccount:destroyhas_many:games,:through=>:account_gamesendclassGame:destroyhas_many:accounts,:through=>:account_gamesendclassAccountGame现在我知道让我们说我想创建一个类似这样的记录:@account=Account.new(params[:user])@account.games但是我应该如何在执行此操作时更新AccountGame中的某些属性？假设AccountGame有一些名为score的字段

  7. ruby - 如何将 Ruby 脚本变成 bash 命令？ - 2

    我有一个Ruby文件，我将它作为rubyfile.rb"parameters"运行。我更喜欢将它作为regtask参数运行，而不必每次都包含ruby和文件名。我希望它与ls处于同一级别。我将如何做到这一点？ 最佳答案 编辑你的文件，确保这是第一行，这样你的系统就知道如何执行你的文件:#!/usr/bin/envruby接下来，更改文件的权限以使其可执行:chmoda+xfile.rb最后，重命名并将其移动到将要执行的位置，而无需编写其完整路径:mkdir-p~/binmvfile.rb~/bin/regtask(如果~/bin存在，

  8. ruby - 如何用 YARD 记录一个不返回任何内容的方法 - 2

    我有这样的方法defself.import(file_name,opts={})我正在尝试用YARD记录下来。然而，这是一种100%副作用的方法(我知道，我知道，副作用，呃!)。但是对于此方法的用户，实际上没有任何类型的返回对象，但是YARD生成如下签名:+(Object)import(file_name,opts={})有什么办法可以告诉yardimport方法什么都不返回吗？我可以告诉它返回nil，但这不是一回事 最佳答案 所有方法都会返回一些东西，void关键字可能就是您要查找的内容。#@return[void]defmeth

  9. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  10. ruby-on-rails - 使用 Sidekiq 时日期对象变成字符串 - 2

    我有一个问题，当我将一些Date对象作为参数传递给不同的方法时，它们会变成String。在我的Rails应用程序中，有一项服务调用Sidekiqworker来执行模型中的方法。初始化服务对象时，它具有Date实例方法。我已经使用调试器确认了它们的类型。它使用perform_async将实例方法传递给Sidekiqworker。perform方法是Sidekiq的一种单行方法，它调用模型中的方法，将从服务接收的参数传递给模型。在模型端，从Sidekiqworker传入的参数不再是Date类型。它们是String(例如“2015-01-20”)。我已经使用degugger确认了这一点。关于

随机推荐