草庐IT

After_Create

全部标签

hadoop - hbase 错误 : "10/12/26 06:48:07 INFO ipc.HbaseRPC: Server at/127.0.0.1:58920 could not be reached after 1 tries, giving up."

有人知道hbase有什么问题吗?我正在为hadoop使用cloudera发行版的vm图像,以前它工作正常但现在当我尝试列出所有表时每秒都会给我这个错误:10/12/2606:48:07信息ipc.HbaseRPC:尝试1次后无法访问位于/127.0.0.1:58920的服务器,放弃。 最佳答案 我在Ubuntu11.10上遇到了同样的问题。默认安装在/etc/hosts中添加了一行,将我的机器主机名与IP127.0.1.1相关联。我将此链接更改为指向127.0.0.1,Hbase开始工作。此外,其他计算机上类似问题的解决方案要么禁用

hadoop - 错误 : Failed to create Data Storage while running embedded pig in java

我写了一个简单的程序来测试java中的嵌入式pig在mapreduce模式下运行。我运行的服务器hadoop版本是0.20.2-cdh3u4a,pig版本是0.10.0-cdh3u4a。当我尝试在本地模式下运行时,它运行成功。但是当我尝试以mapreduce模式运行时,它给了我错误。我使用以下命令运行我的程序,如http://pig.apache.org/docs/r0.9.1/cont.html#embed-java中所示javac-cppig.jarEmbedPigTest.javajavac-cppig.jar:.:/etc/hadoop/confEmbedPigTest.jav

hadoop - pig : Pulling individual fields out after a GROUP

在PigLatin中,我想从要选择的记录中提取其他字段,因为有聚合,例如MAX。我无法解释这个问题,所以这里有一个例子。假设我想获取家中最年长者的姓名:关系A是四列,(name,address,zipcode,age)B=GROUPABY(address,zipcode);#groupbytheaddress#generatetheaddress,theperson'sage,buthowdoIgrabthatperson'sname?C=FOREACHBGENERATEFLATTEN(group),MAX(age),???Name???;如何生成年龄为MAX的人的姓名?

regex - 使用 REGEX 在 Hive Create 和 Load Query 中获取空值

我有一个日志文件,我需要在其中使用REGEX存储数据。我尝试了下面的查询,但加载了所有NULL值。我已经用http://www.regexr.com/检查了正则表达式,它对我的​​数据工作正常。CREATEEXTERNALTABLEIFNOTEXISTSavl(imeiSTRING,packetSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'WITHSERDEPROPERTIES("input.regex"="(IMEI\\s\\d{15}(\\b(\\d{15})([A-Z0-9]+)))"

scala - Spark : Executor Lost Failure (After adding groupBy job)

我正在尝试在Yarn客户端上运行Spark作业。我有两个节点,每个节点都有以下配置。我收到“ExecutorLostFailure(执行程序1丢失)”。我已经尝试了大部分Spark调优配置。我已经减少到一个执行器丢失,因为最初我遇到了6个执行器故障。这些是我的配置(我的spark-submit):HADOOP_USER_NAME=hdfsspark-submit--classgenkvs.CreateFieldMappings--masteryarn-client--driver-memory11g--executor-memory11G--total-executor-cores16

Hadoop 2.6.0 : Basic error "starting MRAppMaster" after installing

我刚刚开始使用Hadoop2。使用基本配置安装后,我总是无法运行任何示例。有没有人看到这个问题,请帮助我?错误是这样的ErrorstartingMRAppMasterjava.lang.RuntimeException:java.lang.reflect.InvocationTargetException这是日志20152015-01-0611:56:23,194INFO[main]org.apache.hadoop.mapreduce.v2.app.MRAppMaster:CreatedMRAppMasterforapplicationappattempt_1420510526926

hadoop - s3distcp : can not create path from empty string

从S3到HDFS运行s3distcp时:sudo-uhdfshadoopjar/usr/lib/hadoop/lib/s3distcp.jar--srcs3n://workAAAA-KKKK-logs/production-logs/Log-XXXX-click/Log-XXXXX-click-2013-03-27_06-21-19_i-7XXb2x39_00037.gz--desthdfs:///test/我得到以下异常。我的路径语法(s3n://;hdfs:///)有问题吗?以前有人遇到过这个问题吗?13/04/0412:10:52INFOs3distcp.S3DistCp:Usi

hadoop - 将 Pig 与 Hadoop 一起使用时出现 "Failed to create DataStorage"错误

我一直在尝试让Pig0.9.0使用ApacheHadoop0.20.203.0运行。我在谷歌和邮件列表中查看了高低,甚至这个问题:cantrunpigwithsinglenodehadoopserver,但我仍然无法让PigshellGrunt在集群设置中运行(当然,我可以在本地模式下正常运行提示符)。我已经尝试了给出的解决方案-在没有hadoop的情况下重新编译,将hadoop库和pig-withouthadoop.jar添加到我的PIG_CLASSPATH变量中......没有任何效果。我刚得到错误2011-08-0210:56:00,709[main]ERRORorg.apach

Java Hadoop : How can I create mappers that take as input files and give an output which is the number of lines in each file?

我是Hadoop的新手,我已经设法运行了wordCount示例:http://hadoop.apache.org/common/docs/r0.18.2/mapred_tutorial.html假设我们有一个包含3个文件的文件夹。我希望每个文件都有一个映射器,这个映射器将只计算行数并将其返回给缩减器。然后,reducer会将每个映射器的行数作为输入,并将所有3个文件中存在的总行数作为输出。所以如果我们有以下3个文件input1.txtinput2.txtinput3.txt映射器返回:mapper1->[input1.txt,3]mapper2->[input2.txt,4]mappe

hadoop - 我可以通过在 Hive 中通过 "CREATE TABLE AS SELECT....."创建的表进行聚类/分桶吗?

我正在尝试在Hive中创建一个表CREATETABLEBUCKET_TABLEASSELECTa.*FROMTABLE1aLEFTJOINTABLE2bON(a.key=b.key)WHEREb.keyISNUllCLUSTEREDBY(key)INTO1000BUCKETS;此语法失败-但我不确定是否可以执行此组合语句。有任何想法吗? 最佳答案 遇到这个问题,发现没有提供答案。我进一步查看并在Hive文档中找到了答案。这永远行不通,因为CTAS有以下限制:目标表不能是分区表。目标表不能是外部表。目标表不能是列表分桶表。来源:htt