假设我在Pig中有以下输入:some我想把它转换成:ssosomsome我(还)没有找到一种方法来迭代Piglatin中的chararray。我找到了TOKENIZE函数，但它在单词边界上split。那么“拉丁pig”可以做到这一点还是需要Java类才能做到这一点？ 最佳答案 尼尔斯，TOKENIZE采用定界符参数，因此您可以将其拆分为每个字母；但是我想不出一种方法让它产生重叠token。不过，在Pig中编写UDF非常简单。您只需实现一个名为EvalFunc的简单接口(interface)(此处有详细信息:http://wiki.a
我有以下电影数据库的数据集:评分:UserID、MovieID、评分电影:电影ID、类型用户:UserID、性别、年龄我写了一个PIG脚本来获取年龄段(20-30)中评分最高的电影的女性用户。以下是我目前得到的代码:users_input=load'/users.dat'USINGPigStorage('\u003B')as(UserID:long,gender:chararray,age:int,occupation:int,zip:long);movies_input=load'/movies.dat'USINGPigStorage('\u003B')as(MovieID:long
我们的工作流程使用AWSelasticmapreduce集群来运行一系列Pig作业，以将大量数据处理成聚合报告。不幸的是，输入数据可能不一致，并可能导致没有输入文件或0字节文件被提供给管道，甚至由管道的某些阶段生成。在LOAD语句期间，如果Pig找不到任何输入文件或任何输入文件为0字节，它就会失败。有什么好的方法可以解决这个问题(希望在Pig配置或脚本或Hadoop集群配置中，无需编写自定义加载器...)？(因为我们使用的是AWSelasticmapreduce，所以我们只能使用Pig0.6.0和Hadoop0.20。) 最佳答案
我有一个数据集A，它有时间戳、访问者、URL:(2012-07-21T14:00:00.000Z,joe,hxxp:///www.aaa.com)(2012-07-21T14:01:00.000Z,mary,hxxp://www.bbb.com)(2012-07-21T14:02:00.000Z,joe,hxxp:///www.aaa.com)我想在一个时间窗口(例如10分钟)内测量每个用户每个URL的访问次数，但作为一个按分钟递增的滚动窗口。输出将是:(2012-07-21T14:00to2012-07-21T14:10,joe,hxxp://www.aaa.com,2)(2012-
当我在Pig交互式shell环境中输入一些错误命令时，它会进入监听模式(>>)，如下所示。我如何安全地退出这个命令，但仍然留在pig壳环境中？Ctrl+C将我带出pig壳，直到那时我才失去我的环境设置。**grunt>Test_group=groupBlock2_Prep_filterby(page_visit_idasgrp_page_visit_id,page_user_guidasgrp_page_user_guid);>>;>>>>** 最佳答案 我查看了pig源代码。这称为secondary_prompt(在PigScri
我想知道如何运行以Hive格式存储的Pig查询。我已将Hive配置为存储压缩数据(使用本教程http://wiki.apache.org/hadoop/Hive/CompressedStorage)。在此之前，我曾经只使用带有Hive分隔符(^A)的普通Pig加载函数。但是现在Hive将数据存储在压缩的序列文件中。使用哪个加载函数？请注意，不需要像此处提到的紧密集成:UsingHivewithPig,只是使用什么加载函数来读取Hive生成的压缩序列文件。谢谢大家的回答。 最佳答案 这是我发现的:如果将数据存储为RCFile，则使
我知道Group不能处理多个元组，因此我们在PIG中有COGROUP。但是，今天检查时，GROUP命令对我有用。我正在使用PIG-0.12.0。我的命令和输出如下。grunt>grpvar=GROUPCby$2,Bby$2;grunt>cogrpvar=COGROUPCby$2,Bby$2;grunt>describegrpvar;grpvar:{group:chararray,C:{(pid:int,pname:chararray,drug:chararray,gender:chararray,tot_amt:int)},B:{(pid:int,pname:chararray,dru
刚刚安装了Pig0.13，我正在尝试将它与Hadoop1.1.2一起使用。(Pig文档指出Pig0.13与Hadoop1.1.2兼容)。根据Pig安装说明，我设置了$PIG_CLASSPATH指向定义了core-site.xml、hdfs-site.xml和mapred-site.xml的/etc/hadoop。Hadoop集群功能正常，可以很好地处理非Pig作业。根据下面的错误描述，我了解到Pig无法找到它正在寻找的JobContextImpl类。根据Hadoop1.1.2API文档，我不认为“任务”是“mapreduce”包的子包。我尝试将hadoop-core-1.1.2.jar
我使用Cygwin在Windows7上为单个节点安装了Hadoop(1.0.2)，它正在运行。但是，我无法让PIG(0.10.0)查看Hadoop。1)"Error:JAVA_HOMEisnotset."我将这一行添加到pig(在bin下):exportJAVA_HOME=/cygdrive/c/PROGRA~1/Java/jdk1.7.0_052)which:nohadoopin(/usr/local/b.....)cygpath:cannotcreateshortnameofC:\pig-0.10.0\logsCannotlocatepig.jar.do'antjar',andtr
我试图让pig开始但失败了:$pig2013-05-1018:03:22,972[main]INFOorg.apache.pig.Main-ApachePigversion0.11.1(r1459641)compiledMar222013,02:13:532013-05-1018:03:22,972[main]INFOorg.apache.pig.Main-Loggingerrormessagesto:/Users/barclaydunn/Environment/pig-0.11.1/pig_1368223402970.log2013-05-1018:03:23,151[main]IN
