草庐IT

HBASE_CLASSPATH

全部标签

hadoop - 将数据从 HDFS 加载到 HBASE

我正在使用Apachehadoop1.1.1和Apachehbase0.94.3。我想将数据从HDFS加载到HBASE。我写了pig脚本来达到目的。首先,我在habse中创建了hbase表,然后编写了pig脚本以将数据从HDFS加载到HBASE。但它没有将数据加载到hbase表中。不知道它要去哪里。以下是用于创建hbase表的命令:创建表'mydata','mycf'下面是从hdfs加载数据到hbase的pig脚本:A=LOAD'/user/hduser/Dataparse/goodrec1.txt'USINGPigStorage(',')as(c1:int,c2:chararray,

hadoop - 使用 pig 或 hive 将 CSV 数据加载到 HBase

您好,我创建了一个将数据加载到hbase中的pig脚本。我的csv文件存储在hadoop位置/hbase_tables/zip.csvpig脚本register/home/hduser/pig-0.12.0/lib/pig-0.8.0-core.jar;A=LOAD'/hbase_tables/zip.csv'USINGPigStorage(',')as(id:chararray,zip:chararray,desc1:chararray,desc2:chararray,income:chararray);STOREAINTO'hbase://mydata'USINGorg.apach

hadoop - Hbase 0.96 与 Mahout 0.9 集成

是否可以使用Hbase0.96版本作为Mahout0.9版本的数据源?示例:-在Hbase表上运行Mahout。我正在使用具有以下配置的系统:-Ubuntu14.04-64位架构。提前致谢。 最佳答案 根据您的标签,我假设您是在询问Mahout推荐系统。您可以编写代码来获取所有用户的所有项目矩阵,无论是密集矩阵还是稀疏矩阵(密集矩阵为0,其中不存在偏好强度,稀疏矩阵将忽略任何0值)这里有一些幻灯片描述了如何将Hbase与Mahout结合使用:http://www.slideshare.net/cloudera/hbasecon-20

apache - 使用 apache flume 将数据流式传输到 hbase

我正在尝试使用apacheflume将数据加载到hbase中。当我使用水槽将数据流式传输到hadoop时,它工作正常。但是当我启动水槽代理将数据加载到hbase时,我得到了NoClassDefFoundError。14/05/1223:14:10INFOnode.PollingPropertiesFileConfigurationProvider:Reloadingconfigurationfile:agent4.conf14/05/1223:14:10INFOconf.FlumeConfiguration:Processing:sink114/05/1223:14:10INFOcon

hadoop - 在 Hbase 表之上创建 Hive 表时出错

我试图在HBase之上创建一个Hive表,但每次都出现错误。请告诉我我在这里做错了什么。CREATETABLEhbase_trades(keystring,valuestring)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,cf1:val")TBLPROPERTIES("hbase.table.name"="trades");FAILED:ExecutionError,returncode1fromorg.apach

hadoop - 在 Hbase 中获取特定的列值

嗨,我是Hbase的新手,想问一些问题:假设我们在一个表中有两个列族。cf1,cf2.cf1有以下列:id,name,age,emailcf2有以下列:city,state,country现在的问题是他们将查询什么来找到cf2:citywherecf1:name='xxx'请帮忙解决这个问题。我在Java中这样做,所以任何可以做到这一点的api?如果能给出详细示例的答案,我们将不胜感激。问候 最佳答案 使用SingleColumnValueFilters。像这样。SingleColumnValueFilter('cf2','city

hadoop - 我的 HBase 正在运行..但是每当我检查状态时它都会给出以下错误

status'detailed'14/08/2600:01:45ERRORclient.HConnectionManager$HConnectionImplementation:Checkthevalueconfiguredin'zookeeper.znode.parent'.Therecouldbeamismatchwiththeoneconfiguredinthemaster.14/08/2600:01:46ERRORclient.HConnectionManager$HConnectionImplementation:Checkthevalueconfiguredin'zooke

java - HBase Java连接

我想通过Java设置与HBase的连接,但我遇到了问题。我在我的CentOS6.5上通过Ambari安装了一个单节点HDP2.1。我有以下代码:publicclassPutExample{publicstaticvoidmain(String[]args)throwsIOException{finalStringserverFQDN="hadoop.hortonworks";Configurationconf=HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum",serverFQDN);conf.set("hbase

hadoop - Hive、Hbase、Hadoop 2.5.1 兼容性

我在三个节点(1个主节点,2个从节点)上安装了Hadoop2.5.1,想知道HBase和Hive的版本兼容性?此外,此Hadoop+Hbase+Hive集成是否有任何替代方案或任何解释Hadoop2.5.1与兼容HBase和Hive的安装的指南?目前我正在尝试使用ApacheAmbari进行上述集成并且它仍在进行中。环境:Jdk版本:1.7.0_67RHEL564位架构任何线索将不胜感激! 最佳答案 hadoop2.5.1支持的版本有:HBase-0.98.x(已弃用对Hadoop1.1+的支持。)HBase-1.0.x(不支持Ha

hadoop - 用于读取和更新的 HBase 行键设计

我试图了解为我的HBase表设计key的最佳方法。我的用例:现在的结构人号|批处理日期|PersonJSON当关于这个人的一些事情被修改时,一个新的PersonJSON和一个新的batchdate被插入到Hbase中更新旧记录。每4小时扫描一次所有修改过的人,然后将其推送到Hadoop进行进一步处理。如果我的key只是personID,那么它非常适合更新数据。但是我的性能很糟糕,因为我必须在BatchData列上添加一个过滤器来扫描所有大于批处理日期的行。如果我的键是像BatchDate|PersonID这样的复合键,我可以在行键上使用startrow和endrow并获取所有已修改的行