我在windowsxp中使用cygwin安装pig-0.11.1。我提取了我的pig_home文件夹并将其放置在cygwin的用户目录中。当我尝试在提示符下命令./pighelp时，它显示以下错误。其中:(/usr/local/bin:/usr/bin:/cygdrive/c/ProgramFiles/Java/jdk1.6.0_31/bin:/home/sunil/pig-0.11.1/bin中没有hadoop)cygpath:无法创建C:\cygwin\home\sunil\pig-0.11.1\logs的短名称找不到pig.jar。做'antjar'，然后再试一次我能得到一些关于

我在我的eclipse中下载并安装了pigpen插件，我按照thislink中的步骤操作)但是当我设置Pig的ConfigurationPath时有点困惑。谁能告诉我如何设置首选项以在eclipse中运行pig脚本。我很累，但没有正常工作。 最佳答案 您是否使用UnixBox来运行Eclipse？如果答案是肯定的，那么你可以让它工作。如果你在Windows上工作并使用SSH客户端连接到Unix框，恐怕它不会工作(至少按照你帖子中提到的链接) 关于hadoop-如何设置首选项以在Eclip

假设我有一个具有以下架构的数据集:ItemName(String),Length(long)我需要根据长度找到重复项。这在PIG中很容易做到:raw_data=LOAD...datasetgrouped=GROUPraw_databylengthitems=FOREACHgroupedGENERATECOUNT(raw_data)ascount,raw_data.name;dups=FILTERitemsBYcount>1;STOREdups....上面找到了完全相同的重复项。给定以下设置:一、100二、105三、100它会输出2,(a,c)现在我需要使用阈值查找重复项。例如，如果项目

我写了一个UDF，其中我的输入模式是一袋元组，现在在我的UDF中，我正在处理每个元组并为每个元组附加额外的字段并将其提供给输出包。这很好用，现在在我的下一步中，我尝试创建我的输出包的输出模式，我只想在我的包输入的元组中附加一个字段。我该怎么做？这是我的输入包架构。xx:{(uniqueRS::PreprocUDF::id:long,uniqueRS::PreprocUDF::dominion:chararray,uniqueRS::PreprocUDF::affectedItemGRN:chararray,uniqueDomAndUser:{(PreprocUDF::dominion:

我注意到，当我在加载后的pig脚本中引入“SPLIT”和“COGROUP”语句时，pig作业中的映射器数量会翻倍。这个对吗？有谁知道为什么会这样？我使用PigStorage加载数据集:A=LOAD'test.csv'USINGPigStorage;cattest.csvA123A345B234B123然后我使用SPLIT将数据集拆分为两个关系(使用过滤器结果相同)。然后，我将这两个关系组合为一个，并存储它。SPLITAINTOAAIF$0=='A',ABIF$0=='B';CG=COGROUPAABY$1,ABBY$1;STORECGINTO'cg'USINGPigStorage();

我想将具有制表符和逗号分隔值的文本文件转换为PIG中的完全逗号分隔值。我正在使用ApachePig版本0.11.1.，我尝试使用以下代码并尝试使用FLATTEN、TOKENIZE。但我不能把它变成完整的CSV文件。a=load'/home/mansoor/Documents/ip.txt'usingPigStorage(',')as(key:chararray,val1:chararray,val2:chararray);b=FOREACHa{key=STRSPLIT(key,'\t');GENERATEkey;}以下是我的文本文件输入:M12345M123456,M234567,M9

我正在测试hadoop，截至目前我有:1)localhost:8088工作2)localhost:50070工作3)我在hdfs上创建了一些文件然后我启动pig，对文件执行LOAD，然后执行FILTER，最后执行DUMP。当我DUMP时，pig显示有关mapreduce开始的信息。它以这样的句子结尾:“MapReduceLauncher-0%完成”+“正在运行的作业是[job_xxx]”。所以我认为工作启动了。我什至在localhost:8088的hadoop界面上将它视为一个已接受的应用程序。但随后什么也没有发生:它停留在0%完成:-(因此，作业是“已接受”但永远不会运行:-(我应该

我需要使用Hadoop2.x从PIG在AmazonEMR上运行Python流式UDF基于文档PIGworkswithHadoop2.xsinceversion0.14http://pig.apache.org/docs/r0.12.0/udf.html#python-udfshttp://pig.apache.org/docs/r0.14.0/udf.html#python-udfs我个人曾尝试过Python流式UDF在0.12上不起作用，并且根据0.14文档中缺少的注释，在我看来它应该在这个版本中起作用。在AmazonEMR文档中看到受支持的PIG版本，在我看来，只有低于0.12的受

我想使用pig脚本将以下元组拆分为两个元组。(key=bb7bde5661923b947ce59958773e85c5\,\/css\/bootstrap.min.cssHTTP\/1.1\,\/con-us.php,\/con-us.phpHTTP\/1.1\)我想要的输出如下:(key=bb7bde5661923b947ce59958773e85c5\)(\/css\/bootstrap.min.cssHTTP\/1.1\,\/con-us.php,\/con-us.phpHTTP\/1.1\) 最佳答案 是的，您可以使用REG

我是PigLatin编程的新手，我有一个问题。假设我有以下两个关系(A和B):RelationA:http://i.stack.imgur.com/Aa5Rd.pngRelationB:http://i.stack.imgur.com/m467q.png现在，应该加入关系，但前提是A中存在键(id)。否则不会。所以结果应该是这样的:关系结果:i.stack.imgur.com/3elgh.png(我不能发布超过2个链接)我该如何解决？我的方法result=JOINABYid,BBYid;因为它创建了与所有id和文本的结果关系:/非常感谢您，斯特凡诺斯 最佳答