草庐IT

hadoop - 在 Hbase 表之上创建 Hive 表时出错

我试图在HBase之上创建一个Hive表,但每次都出现错误。请告诉我我在这里做错了什么。CREATETABLEhbase_trades(keystring,valuestring)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,cf1:val")TBLPROPERTIES("hbase.table.name"="trades");FAILED:ExecutionError,returncode1fromorg.apach

hadoop - 在 Hbase 中获取特定的列值

嗨,我是Hbase的新手,想问一些问题:假设我们在一个表中有两个列族。cf1,cf2.cf1有以下列:id,name,age,emailcf2有以下列:city,state,country现在的问题是他们将查询什么来找到cf2:citywherecf1:name='xxx'请帮忙解决这个问题。我在Java中这样做,所以任何可以做到这一点的api?如果能给出详细示例的答案,我们将不胜感激。问候 最佳答案 使用SingleColumnValueFilters。像这样。SingleColumnValueFilter('cf2','city

hadoop - 我的 HBase 正在运行..但是每当我检查状态时它都会给出以下错误

status'detailed'14/08/2600:01:45ERRORclient.HConnectionManager$HConnectionImplementation:Checkthevalueconfiguredin'zookeeper.znode.parent'.Therecouldbeamismatchwiththeoneconfiguredinthemaster.14/08/2600:01:46ERRORclient.HConnectionManager$HConnectionImplementation:Checkthevalueconfiguredin'zooke

java - HBase Java连接

我想通过Java设置与HBase的连接,但我遇到了问题。我在我的CentOS6.5上通过Ambari安装了一个单节点HDP2.1。我有以下代码:publicclassPutExample{publicstaticvoidmain(String[]args)throwsIOException{finalStringserverFQDN="hadoop.hortonworks";Configurationconf=HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum",serverFQDN);conf.set("hbase

hadoop - Hive、Hbase、Hadoop 2.5.1 兼容性

我在三个节点(1个主节点,2个从节点)上安装了Hadoop2.5.1,想知道HBase和Hive的版本兼容性?此外,此Hadoop+Hbase+Hive集成是否有任何替代方案或任何解释Hadoop2.5.1与兼容HBase和Hive的安装的指南?目前我正在尝试使用ApacheAmbari进行上述集成并且它仍在进行中。环境:Jdk版本:1.7.0_67RHEL564位架构任何线索将不胜感激! 最佳答案 hadoop2.5.1支持的版本有:HBase-0.98.x(已弃用对Hadoop1.1+的支持。)HBase-1.0.x(不支持Ha

hadoop - 用于读取和更新的 HBase 行键设计

我试图了解为我的HBase表设计key的最佳方法。我的用例:现在的结构人号|批处理日期|PersonJSON当关于这个人的一些事情被修改时,一个新的PersonJSON和一个新的batchdate被插入到Hbase中更新旧记录。每4小时扫描一次所有修改过的人,然后将其推送到Hadoop进行进一步处理。如果我的key只是personID,那么它非常适合更新数据。但是我的性能很糟糕,因为我必须在BatchData列上添加一个过滤器来扫描所有大于批处理日期的行。如果我的键是像BatchDate|PersonID这样的复合键,我可以在行键上使用startrow和endrow并获取所有已修改的行

hadoop - Hbase 和 pig 中的错误。错误 2998 : Unhandled internal error

我在我的机器上运行以下命令:pig-xlocal-fHbase/load_hbase.pig这是我得到的PigStackTrace,希望能更好地理解我的问题。ERROR2998:Unhandledinternalerror.org/apache/hadoop/hbase/filter/WritableByteArrayComparablejava.lang.NoClassDefFoundError:org/apache/hadoop/hbase/filter/WritableByteArrayComparableatjava.lang.Class.forName0(NativeMeth

java - Hbase 扫描与 Mapreduce 的动态计算

我需要计算HBase表的聚合。假设我有这个hbase表:'metadata'列族:M列:n这里的元数据对象有一个字符串列表类元数据{列出标签;我需要计算我考虑使用mapreduce或直接扫描hbase的标签的数量。结果必须即时返回。那么在这种情况下我可以使用哪个呢?扫描hbase并计算聚合或mapreduce?Mapreduce最终将扫描hbase并计算计数。使用这两种方法的优缺点是什么? 最佳答案 我怀疑你不知道HBase的优缺点,它不适合计算大型数据集的实时聚合。首先让我们说MapReduce本身是一个计划作业,您将无法即时返回

hadoop - 编辑映射 Hive/Hbase

我将Hbase与配置单元一起使用。所以我在hbase中创建了一个表:Create'tableHbase''d'并像这样创建我的配置单元表:CREATEEXTERNALTABLEIFNOTEXISTShbaseTable_hive(keyString,c1string,c2string)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,d:c1,d:c2")TBLPROPERTIES("hbase.table.name"="

mysql - Sqoop 导入安全 hbase 失败

我正在使用具有kerberos安全性的hadoop-2.6.0。我已经安装了具有kerberos安全性的hbase,并且能够创建表并对其进行扫描。我也可以运行sqoop作业将数据从mysql导入到hdfs,但是当尝试从mysql导入到HBase时sqoop作业失败。Sqoop命令sqoopimport--hbase-create-table--hbase-tablenewtable--column-familyck--hbase-row-keyid--connectjdbc:mysql://localhost/sample--usernameroot--passwordroot--ta