我在远程集群上运行了hadoop2.2.0，在另一台机器上运行了Pig0.12。我需要让Pig与hadoop进行通信，第一步似乎是使用hadoop2.2.0构建Pig0.12。这是我所做的:在ivy/libraries.properties中将hadoop-core.version、hadoop-common.version、hadoop-hdfs.version、hadoop-mapreduce.version更改为2.2.0。在ivy.xml中将hadoop-core依赖替换为hadoop-client依赖。使用“antcleanjar-all-Dhadoopversion=23”

我正在使用Pig0.12.1.为什么我在通过LEFTOUTER执行JOIN之后FILTER时会收到错误消息？这里是一个修改过的例子:A=LOAD'$file1'USINGPigStorage('\t')AS(idA:int,manufacturer:chararray);B=LOAD'$file2'USINGPigStorage('\t')AS(idB:int,price:float);C=JOINABYidALEFTOUTER,BBYidB;D=FILTERCBYprice>2.0;为什么我在D上出现“无效标量投影”错误:ERRORpig.PigServer:exceptiondur

我是pig的新手。我正在尝试进行合并连接。满足以下要求:Datamustbesortedonjoinkeysinascending(ASC)orderonbothsides.示例文件:4,TheObjectofBeauty,1991,2.8,61501,TheNightmareBeforeChristmas,1993,3.9,45682,TheMummy,1932,3.5,43883,OrphansoftheStorm,1921,3.2,90623,OrphansoftheStorm,1921,3.2,90624,TheObjectofBeauty,1991,2.8,61505,Nig

我有一个从csv文件查询数据的pig脚本。该脚本已在本地使用小型和大型.csv文件进行了测试。在小集群中:它从处理脚本开始，并在完成40%的调用后失败错误只是，无法从“文件路径”读取数据我的推断是，脚本可以读取文件，但是连接断开，消息丢失但我只收到上述错误。 最佳答案 一般问题的答案是更改配置文件中的错误级别，将这两行添加到mapred-site.xmllog4j.logger.org.apache.hadoop=error,Alog4j.logger.org.apache.pig=error,A在我的例子中，它是一个OutOfMe

如何使用STRSPLIT、TOKENIZER或任何其他方法执行此操作？ 最佳答案 您可以使用STRSPLIT和regex来解决这个问题。我不确定您的输入是否包含单个或多个定界符组合(破折号、逗号、连字符、空格和散列)，但以下解决方案对两者都适用。输入a#bc-d,efe,g#h:i1,2,3,4,5l#y#z#h#nABCDEPigScript:A=LOAD'input'AS(line:chararray);B=FOREACHAGENERATEFLATTEN(STRSPLIT(line,'[-,:\\s#]',5));DUMPB;输

有没有办法在pig上加载一些数据时排除文件的前n行？我有一个要加载的csv文件，但我必须忽略前3行。 最佳答案 一种选择是您可以这样尝试。A=LOAD'input';B=RANKA;C=FILTERBBY$0>3;D=FOREACHCGENERATE$1..;DUMPD;如果您在加载stmt中定义了架构，则使用定义的名称代替位置符号($0、$1等)。它将更具可读性。 关于hadoop-pig:HowtoexcludefirstnlineswhileLoading，我们在StackOver

我有一个csv文件sample.csv并且位于\home\hadoop\Desktop\script\sample.csv中。我尝试使用加载PIGmovies=load'/home/hadoop/Desktop/script/sample.csv'usingPigStorage(',')as(id,name,year,rating,duration);但是这个PIG语句给出了一个错误，但是当给出语句作为dumpmovies;时，它抛出错误并显示输入和输出失败。请建议我如何使用pig语句加载数据。 最佳答案 如果你的输入文件在本地，那

我有一个由ClouderaCDH5.3管理的hadoop集群。我在我的主机(10.44.162.169)上安装了ElasticSearch1.4.4我已经下载了marvel插件，因此可以通过以下方式访问我的ES:http://10.44.162.169:9200/_plugin/marvel/kibana/index.html#/dashboard/file/marvel.overview.json我已经通过名为myindex的sense创建了一个名为mytype的索引，以便稍后将我的数据推送到其中。我也安装了kibana4并像这样更改了kibana.yml:#Thehosttobin

我有pig格式的数据{(group,productId,count)}。现在我想获得每个组中的最大计数，输出可能如下所示{(group,productId,maxCount)}。这是示例输入数据(南美,prod1,45),(南美,prod2,36),(拉丁美洲,prod1,48),(拉丁美洲,prod5,35)这里是这个输入的输出看起来像(南美，prod1,45)(北美，prod2，36)(拉丁美洲，prod1,48)谁能帮我解决这个问题。 最佳答案 根据您的示例输入数据，这应该可以解决问题:data=load'sf.csv'usi

例如，url:https://pig.apache.org/docs/r0.14.0/func.htmlurl:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HDFSCommands.htmlURL不仅仅局限于上面的例子。我想将主机名提取为:host_name:pig.apache.org谁能帮帮我。 最佳答案 您实际上是想提取主机名，而不是域名。pig.apache.org是主机名，apache.org是域名。幸运的是，Pig的好心人已经编