草庐IT

hbase-write

全部标签

hadoop - Hmaster 未使用 hadoop 2.7.1 启动 hbase 1.1.2

我安装了hadoop2.7.1并且运行成功。我尝试通过引用此链接安装hbase1.1.2:https://archanaschangale.wordpress.com/2013/08/31/installing-pseudo-distributed-hbase-on-ubuntu/配置:hbase-env.sh:exportJAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386exportHBASE_REGIONSERVERS=/usr/lib/hbase/hbase-1.1.2/conf/regionserversexportHBASE_MANAGES_

hadoop - 包含时间戳的 HBase rowkey

我想知道像下面这样的行键是否不好:用户名-时间戳这些行将从MapReduce作业中读取,并将使用java客户端API放置。此外,将使用STARTROW、ENDROW选择一个子集。一方面,这对我的用例来说似乎很方便,因为我可以扫描特定的时间间隔,并且行主要是MR作业的后续行,而另一方面,我读到避免长行键和热点是很好的。这个设计真的有问题吗?如何克服?我是HBase的新手,所以任何帮助都会很棒。 最佳答案 一般建议是避免单调增加行键。为此,一些软件工具在行键中包含所谓的“salt”,它可以跨区域散列键。可以在此处找到讨论:http://

java - HBase 连接为空,缺少依赖项、配置或某些属性

我正在尝试从Linux客户端连接到在不同服务器上运行的HBase服务器,但出现以下错误。该代码在我的Windows笔记本电脑上运行良好,我能够连接到Hbase服务器并获得结果。我想我的linux服务器缺少一些依赖项jar,因为当我添加hbase-clientjar时,它在我的笔记本电脑上运行,这表明我的代码逻辑是正确的。所有的配置都被正确地提取,因为我已经从我的笔记本电脑上验证了它。请提供一些建议。我在我的资源中传递hbase-site.xml,core-site.xml,hdfs-site.xml。我的端口和zookeeperqurom是正确的。我的kerberose代码工作正常。代

java - 无法将 Java 客户端连接到远程计算机中的独立 HBase 设置

我使用的是HBase.1.1.2版本。我能够通过HbaseShell以及HbaseRESTAPI完成所有工作。我有一个带有Ubuntu的VMWare,其中配置了Hadoop和Hbase,我正在从我的Windows机器上执行Java程序。注意:-我没有安装单独的zookeeper我正在使用Hbase内置的zookeeper。JPS输出:-3824SecondaryNameNode4194NodeManager7154HMaster9092Jps3300NameNode3510DataNode3975ResourceManager下面是我的Hbase-site.xml:-hbase.roo

hadoop - 如何从另一个 Hbase 表连接 Hbase 表?

大家我是HadoopWorld的新手,我在加入Hbase时遇到了一些问题。我有两个集群,clusterA的Hbase有员工表,clusterB的Hbase有部门表。那么,如何加入员工和部门呢?我需要安装Hive吗? 最佳答案 如果表位于两个独立的集群中,您需要将其中一个HBase表从一个集群转移到另一个集群。这可以通过sqoop完成。理论上,您可以按照VigneshI在评论中的建议使用Phoenix,但是,那里有一些限制。您需要为这两个HBase表创建一个PhoenixView。目前,Phoenix中的原生HBaseView在Pho

rest - HBase REST 返回 json 而不是 xml

我正在使用HBasestargateRESTAPI从Hbase获取数据。我有tabel'state'和行键'1'。当我在浏览器中粘贴以下行时,我得到了xml格式的输出。http://localhost:8000/state/1cmVkTUg=如何获取json格式的输出?提前致谢。 最佳答案 https://hbase.apache.org/book.html#_using_rest_endpointsYoucanrequestplaintext(thedefault),XML,orJSONoutputbyaddingnoheader

hadoop - Phoenix 中的主键如何转换为 hbase 中的行键

凤凰查询:CREATETABLESTORE.DETAILS(MarketUNSIGNED_INTNOTNULL,ProductUNSIGNED_INTNOTNULL,PeriodUNSIGNED_INTNOTNULL,UnitsdoubleCONSTRAINTpkPRIMARYKEY(Market_Key,Product_Key,Period_Key))在hbase中,我只有两列,我希望将主键组合转换为行键。能否请您告诉我主键在Phoenix中是如何组合并转换为行键的? 最佳答案 是的,主键被视为行键,当您有多个列作为主键时,pho

hadoop - 监控 HBase 集群

我发现Hbase提供了各种指标,可用于监控集群和调整配置参数以获得最佳性能。那么有人能说出这些指标的含义以及要考虑的最重要指标是什么吗? 最佳答案 指标名称值解释hbase.regionserver.blockCacheCount内存中的block缓存项计数。这是缓存中StoreFiles(HFiles)的block数。hbase.regionserver.blockCacheEvictedCount由于堆大小而必须从block缓存中逐出的block数约束条件。hbase.regionserver.blockCacheFree可用的

rest - 如何在 HBase REST curl 中以相反的顺序获取行

我可以从一个表中获取所有行curl-H"Accept:application/json"http://localhost:8080/table/*我可以限制行数curl-H"Accept:application/json"http://localhost:8080/table/*?limit=10问题是行总是插入前10行而不是最后10行。想弄个反序,特意结合了limit参数。我知道setReversed参数,在HBaseshell中它工作正常:scan'table',{LIMIT=>10,REVERSED=>TRUE} 最佳答案 看

hadoop - 如何从 hive 或 impala 读取 Hbase 当前和以前版本的数据?

我想从Hive或Impala读取Hbase当前和以前版本的数据。在我最初的研究中,我发现只能从Hive访问当前版本。那么,目前有什么方法可以从hive或Impala中检索旧版本吗? 最佳答案 在Hive的情况下:请看this似乎不可能在Hive中获得同一单元格的不同版本(即使Hbase具有同一单元格的多个版本),它总是返回具有最新时间戳的单元格。我相信我们可以从战术上解决这个问题。我们可以将以前的版本附加到Hbase行键或者作为单独的单元格(名称,值)如果是Impala:请看limitations节