我正在使用java运行hbase,我的hbase很容易启动,现在当我在中给出“list”命令时hbase(主):001:0:>>列表它输入“TABLE”并在终端上给出这么多行java并以错误:org.apache.hadoop.hbase.masternotrunningexception:重试7次我停止了hbase并重新启动,但它对我不起作用。这是日志的痕迹:14/02/1807:16:17INFOzookeeper.ZooKeeper:Initiatingclientconnection,connectString=localhost:2181sessionTimeout=1800
我在HDFS中有一个日志文件需要解析并放入Hbase表中。我想使用PIG来做到这一点。我该怎么做。Pig脚本应该解析日志,然后放入Hbase? 最佳答案 pig脚本是(假设制表符是您在日志文件中的数据分隔符):A=load'/home/log.txt'usingPigStorage('\t')as(one:chararray,two:chararray,three:chararray,four:chararray);STOREAINTO'hbase://table1'USINGorg.apache.pig.backend.hadoo
有两个HBase表(table1,table2)作为输入源,使用MapReduce将table1中的一列与table2中的一列进行比较,如果table1中的与table2中的相同,则将它们输出到table3中。我们如何使用MapReduce解决问题?(Hadoop2.2.0+Hbase0.96.0) 最佳答案 第一步-通过此链接了解Hbase表如何成为映射器的源:HbaseTableasMappersource针对您的具体问题的下一步:您将有2个映射器(即2个输入)每个表一个。您根据表中的值进行减少。您可能需要一个复杂的键或一些值来
我正在尝试使用HBase外壳。为此,我只需启动命令list。当我这样做时,它会出现:ERROR:org.apache.hadoop.hbase.MasterNotRunningException:null之前对这个问题的回答都不适合我。我通常在我的计算机上本地使用HBase,我从来没有用hadoop创建任何集群。附言。当我启动jps时,我看不到任何表明HBase正在运行的进程。任何人都知道什么可能是错的?两天前一切正常。 最佳答案 我假设你已经完成了this至少安装并配置Hbase。你得到的错误是因为Hmaster没有运行。你将不得
我可以在独立模式下(没有Hadoop)使用javaapi连接到Hbase吗?这是我的代码,我想知道如何让它工作。我应该为变量“config”设置一些属性吗?我在本地安装了这些:Hbase-0.98.0Hadoop2.2.0importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.clien
我有一个具有以下描述的Hbase表。对于行键,我的列将采用a_1、a_2、a_3、b_1、c_1、C_2等形式,这是一种复合键格式。假设我的行之一是rowkey-row1columnfamily-c1columns-a_1,a_2,a_3,b_1,b_2,c_1,C_2,d_9,d_99我可以通过任何操作检索a、b、c、d作为对应于row1的列吗,我不关心a、b、c的后缀是什么...我可以获取给定行的所有列名,通过按第一部分拆分行键将它们添加到集合中并发出集合。我很担心,如果有更好的方法通过过滤器或其他一些hbase方法来完成它,请发表评论... 最佳答案
有什么方法可以使用Hbase表作为Hadoop流作业的源吗?具体来说,我想运行一个用Python编写的Hadoop流作业。当输入被指定为HDFS上的文件夹时,这很有效。但是我找不到任何关于从Hbase表中读取数据的文档。这是否受支持?或者我将不得不经历编写Java代码以首先将数据从Hbase获取到HDFS然后运行流式处理作业的考验?我使用的是Cloudera的Hbase0.94。(有一个类似的问题alreadypresenthere。但它指向第三方解决方案,没有积极贡献。我希望Hbase会支持它)。 最佳答案 我会使用Pig加载数据
我的本地环境:OSX10.9.2、Hbase-0.94.17、Java1.6我的Hbase模式:独立我可以在shell中进行操作,但是当我使用javaapi时,它不起作用。我的java代码:importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.client.Get;importorg.apache.hadoop.hbase.client.HTa
我在从属RegionServer的日志中收到以下错误。问题似乎出在regionserver.HRegionServer:reportForDutytomaster=localhost,60000,1397430611631withport=60020master设置为localhost但实际上应该指向master。即使在阅读了文档之后,我也无法弄清楚奴隶是如何弄清楚主人的。完整日志为:2014-04-1404:49:35,939INFO[regionserver60020]regionserver.HRegionServer:CompactionCheckerrunsevery10se
我是Apache-Hadoop的新手。我有3个节点的Apache-Hadoop集群。我正在尝试加载一个有45亿条记录的文件,但它没有分发到所有节点。这种行为有点像区域热点。我已经从hbase-site.xml配置文件中删除了“hbase.hregion.max.filesize”参数。我观察到如果我使用4节点的集群然后它分发数据到3个节点,如果我使用3节点的集群然后它分发到2个节点。我想,我缺少一些配置。 最佳答案 一般来说,HBase的主要问题是准备非单调的行键。如果是,则此时仅使用一个区域服务器:http://ikaisays.