我正在尝试在Titanicdata上使用一些Pig函数.有一次我将范围缩小到乘客等级和票价(票价):代码如下:shecho"1.createFarePclasswithtwofields"FarePclass=FOREACHtrainGENERATEPclass,Fare;DUMPFarePclass;shecho"2.createFareByClassgroupingbyPclass"FareByPclass=GROUPFarePclassBYPclass;--FareByPclass=GROUPFarePclassALL;--DUMPFareByPclass;DESCRIBEFar
我对在工作中使用Pig还比较陌生。我有一个巨大的表(367万个条目)，其中包含字段--id、feat1:value、feat2:value...featN:value。其中id是文本，feat_i是特征名称，value是给定id的特征i的值.每个元组的特征数量可能会有所不同，因为它是稀疏表示。例如这是数据中3行的示例id1f1:23f3:45f7:67id2f2:12f3:23f5:21id3f7:30f16:8f23:1现在的任务是对具有共同特征的查询进行分组。我应该能够获得那些具有任何功能重叠的查询集。我尝试了几件事。CROSS和JOINS造成数据爆炸，reducer卡住了。我不熟
我正在努力寻找解决Pig分组问题的方法。目前我有一个看起来像的数据集；Group|Height|WeightA|96.5|110.2B|88.2|122.5A|94.1|100.8B|84.1|115.6我正在使用DataFu库中的StreamingQuantile方法来计算高度变量的分位数(第25、50...eclipse刻)。目前它有效，但我还需要计算每个组的AVG权重+它们的分位数；所以它看起来像这样；A|Quantile1|88.5(height)|134.4(avgweight)A|Quantile2|125.3(height)|156.2(avgweight)etc....
我在下面有以下数据。DUMPa;(2013-12-2503:00:55,1899454055,(0958847,090119960,095V987,09518X))(2013-12-2503:02:47,1899454055,(09588,090119,0959872P,095189))(2013-12-2503:04:00,1899454055,(09588,0901199,09598720P,0951890))(2013-12-2503:04:37,1899454055,(0958,0901199,095000P,095189100))(2013-12-2503:07:12,392
我想知道是否有可能在pig身上做这样的事情:一共有三列:“类型1”、“类型2”、“类型3”B101,159,74我想这样定义C列:如果A=="type1"那么C=B;否则C=0这在pig身上可能吗？ 最佳答案 是的，这是可能的。你可以这样写:data=LOAD'$dataSource'usingAvroStorage();--data={A,B}data2=FOREACHdataGENERATEA,B,(A=='type1'?B:0)ASC;dumpdata2; 关于hadoop-pig
我有一个pig脚本，它通过json的“公司”部分加载文件。当我执行计数时，如果文件中缺少域(或为空)，则计数为0。我怎样才能将它分组为空字符串并仍然对其进行计数？文件示例:{"company":{"domain":"test1.com","name":"test1company"}}{"company":{"domain":"test1.com","name":"test1company"}}{"company":{"domain":"test1.com","name":"test2company"}}{"company":{"domain":"test2.com","name":"t
ApachePigQuery执行需要多少时间？查询在PigLatin中获取多达400万个具有43个字段的元组(行)的记录。A=LOAD'/user/PigTest/year_14/mon_nov/6_sms_03_01.csv'USINGPigStorage(',');bt=foreachAgenerate$0asid,$3;dumpbt;ct=filterbtbyid==3981042;dumpct;dumpMinutesBetween(CurrentTime(),$ti);并将文件调用为:pig-paramti='date'try.pig我的系统环境是Linux。错误是:错误120
我在我的机器上运行以下命令:pig-xlocal-fHbase/load_hbase.pig这是我得到的PigStackTrace，希望能更好地理解我的问题。ERROR2998:Unhandledinternalerror.org/apache/hadoop/hbase/filter/WritableByteArrayComparablejava.lang.NoClassDefFoundError:org/apache/hadoop/hbase/filter/WritableByteArrayComparableatjava.lang.Class.forName0(NativeMeth
我通过命令行运行我的pig，我想在运行完成后查看所有Hadoop计数器。我已经编写了基于此blog写入Hadoop计数器的UDF，但我想测试它-当pig开始时我可以看到来自构造函数的日志，但后来我看不到日志目前我看到的只是简单的静态-见下文Counters:Totalrecordswritten:3487Totalbyteswritten:38078SpillableMemoryManagerspillcount:0Totalbagsproactivelyspilled:101Totalrecordsproactivelyspilled:12464701 最
将组记录拆分为不同的记录:例如:输入:(A，(3,2,3))输出到3行:一个,3A2A,3任何人都可以让我知道执行此操作的选项吗？ 最佳答案 问题是当你把Arraylist的输出转换成tuple时，就很难达到你想要的效果，所以我推荐这种方法，这样很容易得到输出。在您的UDF代码中，不要创建Arraylist，而是将输出附加到以逗号分隔的字符串中，然后返回到pig脚本。UDF的最终输出应该是这样的字符串，即“3,2,3”然后使用下面的代码得到结果C=FOREACHBGENERATE$0,NewRollingCount(BagToStr
