草庐IT

HBASE_CLASSPATH

全部标签

hadoop - 如何从另一个 Hbase 表连接 Hbase 表?

大家我是HadoopWorld的新手,我在加入Hbase时遇到了一些问题。我有两个集群,clusterA的Hbase有员工表,clusterB的Hbase有部门表。那么,如何加入员工和部门呢?我需要安装Hive吗? 最佳答案 如果表位于两个独立的集群中,您需要将其中一个HBase表从一个集群转移到另一个集群。这可以通过sqoop完成。理论上,您可以按照VigneshI在评论中的建议使用Phoenix,但是,那里有一些限制。您需要为这两个HBase表创建一个PhoenixView。目前,Phoenix中的原生HBaseView在Pho

rest - HBase REST 返回 json 而不是 xml

我正在使用HBasestargateRESTAPI从Hbase获取数据。我有tabel'state'和行键'1'。当我在浏览器中粘贴以下行时,我得到了xml格式的输出。http://localhost:8000/state/1cmVkTUg=如何获取json格式的输出?提前致谢。 最佳答案 https://hbase.apache.org/book.html#_using_rest_endpointsYoucanrequestplaintext(thedefault),XML,orJSONoutputbyaddingnoheader

hadoop - Phoenix 中的主键如何转换为 hbase 中的行键

凤凰查询:CREATETABLESTORE.DETAILS(MarketUNSIGNED_INTNOTNULL,ProductUNSIGNED_INTNOTNULL,PeriodUNSIGNED_INTNOTNULL,UnitsdoubleCONSTRAINTpkPRIMARYKEY(Market_Key,Product_Key,Period_Key))在hbase中,我只有两列,我希望将主键组合转换为行键。能否请您告诉我主键在Phoenix中是如何组合并转换为行键的? 最佳答案 是的,主键被视为行键,当您有多个列作为主键时,pho

hadoop - 监控 HBase 集群

我发现Hbase提供了各种指标,可用于监控集群和调整配置参数以获得最佳性能。那么有人能说出这些指标的含义以及要考虑的最重要指标是什么吗? 最佳答案 指标名称值解释hbase.regionserver.blockCacheCount内存中的block缓存项计数。这是缓存中StoreFiles(HFiles)的block数。hbase.regionserver.blockCacheEvictedCount由于堆大小而必须从block缓存中逐出的block数约束条件。hbase.regionserver.blockCacheFree可用的

rest - 如何在 HBase REST curl 中以相反的顺序获取行

我可以从一个表中获取所有行curl-H"Accept:application/json"http://localhost:8080/table/*我可以限制行数curl-H"Accept:application/json"http://localhost:8080/table/*?limit=10问题是行总是插入前10行而不是最后10行。想弄个反序,特意结合了limit参数。我知道setReversed参数,在HBaseshell中它工作正常:scan'table',{LIMIT=>10,REVERSED=>TRUE} 最佳答案 看

hadoop - 如何从 hive 或 impala 读取 Hbase 当前和以前版本的数据?

我想从Hive或Impala读取Hbase当前和以前版本的数据。在我最初的研究中,我发现只能从Hive访问当前版本。那么,目前有什么方法可以从hive或Impala中检索旧版本吗? 最佳答案 在Hive的情况下:请看this似乎不可能在Hive中获得同一单元格的不同版本(即使Hbase具有同一单元格的多个版本),它总是返回具有最新时间戳的单元格。我相信我们可以从战术上解决这个问题。我们可以将以前的版本附加到Hbase行键或者作为单独的单元格(名称,值)如果是Impala:请看limitations节

java - 运行 Hbase Java API 时出错

成功编译我的Hbase类使用javac-cp"/hbase/lib/*"CreateTable.java但是在运行过程中报错javaCreateTableExceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfigurationatCreateTable.main(CreateTable.java:16)Causedby:java.lang.ClassNotFoundException:org.apache.hadoop.hbase.HBaseConfiguration

hadoop - hbase复制和快照命令之间的区别

我在hbase中有一个表,其中包含大量数据,我想取回表的背面,所以在这种情况下这很好1--复制命令对表进行备份2--对该表进行快照另外请说明一下snapshot的内部机制是不是简单的重命名表?问候阿米特 最佳答案 snapshotisbest.HBase快照允许您拍摄表的快照,而不会对区域服务器产生太大影响。快照、克隆和恢复操作不涉及数据复制。此外,将快照导出到另一个集群不会对区域服务器产生影响。在0.94.6版本之前,备份或克隆表的唯一方法是使用CopyTable/ExportTable,或者在禁用表后复制HDFS中的所有hfil

hadoop - hive 到 Hbase : wrong use case for Spark?

我最近遇到了一个关于将数据从Hive迁移到Hbase的问题。我们项目在cdh5.5.1集群上使用Spark(7个节点在SUSELinuxEnterprise上运行,具有48个内核,每个256GBRAM,hadoop2.6)。作为初学者,我认为使用Spark从Hive加载表数据是个好主意。我正在使用正确的Hive列/HbaseColumnFamily和列映射在HBase中插入数据。我找到了一些关于如何将数据批量插入Hbase的解决方案,例如我们可以使用hbaseContext.bulkPut或rdd.saveAsHadoopDataset(我测试了两者的结果相似).结果是一个功能正常的程

hadoop - 如何使用 mapreduce 从 hbase SequenceFile 中提取键值对?

我使用HbaseExport实用工具将hbase表作为SequenceFile导出到HDFS。现在我想使用mapreduce作业来处理这个文件:publicclassMapSequencefile{publicstaticclassMyMapperextendsMapper{@Overrideprotectedvoidmap(LongWritablekey,Textvalue,Mapper.Contextcontext)throwsIOException,InterruptedException{System.out.println(key+"...."+value);}}public