我刚学pig;我怎么能接受这个:((a,b),c,(x,y),z)得到这样的东西:(a,b,c,x,y,z,ABS(c-z)) 最佳答案 和你写的差不多。A=load'foobar'as(t:((a:double,b:double),c:double,(x:double,y:double,)z:double));B=foreachAgenerateflatten(t);C=foreachBgeneratea,b,c,x,y,z,ABS(c-z);我假设double作为值的数据类型。不能100%确定展平,这取决于您的确切模式,这可能会
我有一个中间pig结构(A,B,(n.无Cs))示例:(a1,b1,(c11,c12))(a2,b2,(c21))(a3,b3,(c31,c32,c33))现在,我想要格式的数据(a1,b1,c11)(a1,b2,c12)(a2,b2,c21)etc.我该怎么做?基本上我想要元组的大小,然后使用这个大小来运行嵌套的for循环。 最佳答案 你能试试下面的方法吗?输入a1b1(c11,c12)a2b2(c21)a3b3(c31,c32,c33)PigScript:A=LOAD'input'AS(f1,f2,T:(f3:chararray
我正在使用受kerberos保护的hadoop-2.6.0和pig版本0.13.0。我在hdfs中有一个文件,如下所示计数1,ck2,secondpig脚本a=load'/user/username/newtable';b=distincta;dumpb;异常2015-02-0311:34:45,237[main]INFOorg.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-100%complete2015-02-0311:34:45,431[main]ERRORorg.apache
我有一个这种格式的记录:{(LarryPage),23,M}{(SumanDey),22,M}{(PalaniPratap),25,M}我正在尝试使用此LOAD记录:records=LOAD'~/Documents/PigBag.txt'AS(details:BAG{name:tuple(fullname:chararray),age:int,gender:chararray});但是我收到了这个错误:2015-02-0420:09:41,556[main]ERRORorg.apache.pig.tools.grunt.Grunt-ERROR1200:mismatchedinput',
我下载了pig0.14.0,我在MACOSX上运行Hadoop2.6.0。我在https://github.com/ucbtwitter/getting-started/wiki/Installing-Pig遵循了PIG的所有安装步骤。.我已经如前所述正确设置了JAVA_HOME。即使在运行ant“-Dhadoopversion=23jar”命令后,我仍收到相同的错误“找不到pig-core-h2.jar。执行‘ant-Dhadoopversion=23jar’,然后重试”。 最佳答案 这个错误不断出现找不到pig-core-h2.
我在文件中有Pig脚本序列,我想从Shell脚本中执行它它执行pig脚本sqeuenciatly。例如:shscript.sh/it/provider/file_namePIGddl.txt假设PIGddl.txt有像这样的Pig脚本记录数无效验证等如果所有Pig查询都在一个文件中,那么如何从Shell脚本执行pig脚本? 最佳答案 下面的想法可行,但如果您想要顺序流程,例如如果1执行则执行2否则执行3种流程,您可以使用Oozie来运行和调度作业。#!/bin/shx=1while[$x-le3]doecho"pig_dcnt$x.
我试图在foreach中使用FILTER运算符来过滤我的一些数据,但它抛出了一个错误。我正在使用以下查询:ctm_pm_v1_stg=LOAD'/datalake/uhc/ei/pi_ara/hive/warehouse/ctm_pm.db/ctm_pm_t1'USINGPigStorage('\u0001')AS(lob:chararray,day_phnno:chararray,eve_phnno:chararray,mbr_name:chararray,hic_no:chararray,contract_no:chararray,ctm_risk_category:chararr
嗨,stackoverflow社区;我是pig的新手,我有一个CSV文件,其中包含5列标题,如下所示:专栏1|专栏2|专栏3|专栏4|column5测试1012|测试2045|测试3250|测试4865|test5110测试1245|测试2047|测试3456|测试4234|测试5221…………我只想对第1、3和4列进行排序,但我不知道如何按列标题进行过滤。如果您能指出可以完成我想做的事情的正确功能,那就太好了。谢谢! 最佳答案 假设您像下面这样加载它(假设它使用逗号作为分隔符),那么您可以只使用ORDERBY功能。myInput=
我是PIG的新手,因此是一个绝对的初学者。我有一个.txt文件,其条目如下所示:NameMatriculationNumberGradeNameofSubjectECTSJohnWilliam0789328322.7Research5JohnWilliam0789328322.3InternationalManagement10JohnWilliam0789328321.7Math5正如您所看到的,在文本文件中有许多关于同一个人但不同科目的条目(当然)不同的成绩。我想计算每个学生的平均成绩。对于示例数据,我必须执行以下操作才能获得平均成绩:(2.7*5+2.3*10+1.7*5)/20
包的结构:emp=LOAD'...../emp.csv'usingPigStorage(',')AS(ename:chararray,id:int,job:chararray,sal:double)这个包包含员工的详细信息。我想根据工作拆分数据。Bag=splitempintomngrifjob=='MANAGER';这不工作并给予Error1200.如果我再添加一个条件,forex.-sal10kifsal,那么它正在工作。但为什么不只在一个chararray上?我是hadooppig的新手。了解一些基础知识。请帮忙。 最佳答案