hbase-parameter-tuning
全部标签 我正在使用HBaseMapReduce(docs)从HBase表中读取字符串。以下是部分代码:publicvoidmap(ImmutableBytesWritablerow,Resultvalues,Contextcontext)throwsIOException{Stringtesting=values.getValue(Bytes.toBytes("data"),Bytes.toBytes("lastLine")).toString();try{context.write(newImmutableBytesWritable(Bytes.toBytes(testing)),newIn
我们有一个旧的基于CDH3的集群,我们将数据存储在该集群上的HBase中。我们还有全新的集群,其中安装了CDH5.2。我们想将HBase数据从CDH3集群迁移到CDH5集群。我想知道是否可以跨不同版本迁移数据?是否像使用distcp命令一样直接?在迁移数据之前和迁移过程中我需要采取哪些预防措施? 最佳答案 我认为对此没有简单的解决方案。我能想到的最简单的解决方案是使用一个MapReduce作业将每个HBase表导出到CDH3集群上的HDFS。一个DistCp作业将导出的HDFS数据从您的CDH3集群传输到CDH5集群上的HDFS,最
我正在尝试设计一个用于在HBase中存储时间序列数据的表。由于一个月内写入的所有数据都将“一次全部”读取以进行分析,我想知道使用月份(作为字符串,如“201501”)作为列族是否是一个好的选择选择。我的应用程序将在数据到达时使用时间戳保存数据,然后在月底,将使用hadoop作业分析与该月相关的所有数据。根据规范,列族中的所有数据将存储在一起。就(1)设计和(2)性能而言,这是一个好的做法吗?我不确定,因为这是一种远离关系世界的选择。 最佳答案 一般来说,HBase中有很多列族会影响性能。我认为使用HBase时不建议使用超过2个或3个
据我理解,Hbase是Hadoop数据库,Hive是数据仓库。Hive允许创建表并在其中存储数据,您还可以将现有的HBase表映射到Hive并对其进行操作。如果hive做所有这些,为什么我们应该使用hbase?我们可以单独使用配置单元吗?我很困惑:( 最佳答案 因此,简单来说,使用Hive,您可以在表上触发类似SQL的查询(有一些异常(exception)),并用于批处理操作。而使用hbase,您可以进行实时查询,并且基于键值对。“如果hive做所有这些,为什么我们应该使用hbase?我们可以单独使用hive吗”因为Hive不支持更
我最近使用YARN配置安装了hadoopv_2。我计划安装Hadoop生态系统堆栈,如Pig、Hive、Hbase、Oozie、Zookeeper等。我想知道我是否应该从我为Hadoop1.0配置所做的相同链接安装这些工具。如果没有,谁能给我发送这些工具的Hadoop2配置链接?。我听说Pig和Hive在Hadoop2.0中更快。所以想知道有没有更好的版本。谢谢,高瑟姆 最佳答案 http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-1/CDH4-In
由于上述错误,我基于tomcat的RESTAPI应用程序无法处理请求。到目前为止,我已经尝试过以下事情:检查所有的jar文件是否可用检查tomcat/webapp/目录中所有文件的权限防火墙规则Hbase是否可用但随后也出现以下异常。我正在使用包含HBase0.98.6的CDH5.3.1。有谁知道如何解决这个问题?2015-03-0305:09:02privateLog[ERROR]java.lang.reflect.InvocationTargetExceptionorg.apache.hadoop.hbase.client.HConnectionManager.createConn
由于上述错误,我基于tomcat的RESTAPI应用程序无法处理请求。我在尝试从HBase检索数据时遇到错误。我使用RESTFul网络服务作为我的界面。我正在使用包含HBase0.98.6的CDH5.3.1。有谁知道如何解决这个问题?在此处输入代码错误详情:错误信息:“偏移量(0)+长度(4)超出数组的容量:2” 最佳答案 也许您需要更改一些架构类型规范?我得到这个错误,除了offset(0)+length(4)exceedthecapacityofthearray:1。这是因为缺少相关列的值,我假设1个字节表示空值。在Java中使
我的HBase表有包含bigint的列。那些从Hive声明的bigints,我使用Hive来generateallHBase'sHFilesforbulkloading.我可以从HBaseshell打印该行并查看适当的整数值:...00000020-079e-4e9f-800b-e71937a78b5dcolumn=cf:p_le_id,timestamp=1428571993408,value=1395243843...我从Phoenix中选择该行并看到一个负值。select"p_le_id"from"bulk_1month"whereUUID='00000020-079e-4e9f
如何在给定Rowkey值的情况下获取HBase中的所有值?valtableName="myTable"valhConf=HBaseConfiguration.create()valhTable=newHTable(hConf,tableName)valtheget=newGet(Bytes.toBytes("1001-A"))//rowkeyvalues(1001-A,1002-A,2010-A,...)valresult=hTable.get(theget)valvalues=result.listCells()上面的代码只适用于一个行键。 最佳答案
我正尝试在Hbase中使用MultiRowMutationProtocol,如此链接中给出。http://hadoop-hbase.blogspot.in/2012_02_01_archive.html.我的代码库已经使用了hbase-client(org.apache.hbase/hbase-client/0.98.11-hadoop10.98.11-hadoop2)。这没有MultiRowMutationProtocol类。是否有使用hbase-client使用MultiRowMutationProtocol的不同方法。或者Htable.batch已经处理好了吗?