hbase-parameter-tuning
全部标签 我在尝试在5节点hadoop集群中安装Hbase时遇到一些问题,Hmaster和Hregionservers没有运行,只有Hquorumpeerdeamon在所有5个节点上运行。我正在使用hadoop-0.20.2和hbase-0.90.4,hadoop工作正常。这是我的hbase-site.xml:-hbase.zookeeper.property.clientPort2222PropertyfromZooKeeper'sconfigzoo.cfg.Theportatwhichtheclientswillconnect.hbase.rootdirhdfs://master:54310
我有一个由MySQL支持存储的应用程序。目前数据量级为几TB,并且还在不断增加。我想使用HBase/Mongo/CAssandra进行存储。如何将MySQL数据导出到HBase?目前我没有使用任何Hadoop技术,一旦我弄清楚了这个过程,我就会偷看。谢谢jack 最佳答案 你试过了吗Sqoop?它可以import从MySQL到HBase。 关于mysql-从mysql导出数据到hbase,我们在StackOverflow上找到一个类似的问题: https://
在HBase中,为了提供单行事务支持,它使用行锁定概念。假设,例如Putp=newPut("/*RowKey*/");该语句将锁定该行。所以,直到我们完成table.put(p)锁不会被释放。所以,如果我开始一个新的看跌期权,即Putp1=newPut("/RowKey");p1put应该不起作用,因为该行已经被锁定,但在HBase0.94中,当我尝试它工作时。关于行锁LinkWhereihadseenaboutRowLock我的理解有什么不对的地方吗。如果不是,单行事务支持如何在行锁定的情况下工作。 最佳答案 HBase的工作方式
因为我想把数据存储在HDFS上,所以需要访问HBase,那么如何使用JavaAPI连接到HBase。请提出建议。谢谢。 最佳答案 HBase有JavaAPI。看看http://hbase.apache.org/apidocs/index.html两个重要的类是1)HBaseAdmin2)表格HBaseAdmin是用于创建/删除/更改表的管理APIHTable是用于放置/获取/扫描记录的客户端API。 关于java-JDBC与HBase?,我们在StackOverflow上找到一个类似的问
我正在尝试找到一种方法将hbase查询结果读取到制表符分隔的文本文件中。hbase表people的结构:12column-name=name;value=JohnSmith10column-name=name;value=JackJohnson我想将它输出到这样创建的文本文件中:-12(tab)JohnSmith-10(tab)JackJohnson是否有任何工具可用于此,例如导出可用于将hbase输出到hdfs? 最佳答案 如果您只需要导出一个完整的表,HBase附带一个实用程序来执行此操作,请参阅here另一种选择是使用Pig,
我正在尝试执行增量备份,我已经检查了导出选项但无法确定开始时间选项。另外请在CopyTable上提出建议,我该如何恢复。 最佳答案 使用CopyTable您刚刚在thesameoranothercluster上收到给定表格的副本(实际上是CopyTableMapReduce作业)。没有奇迹。如何恢复由您自己决定。明显的选择是:使用相同的工具将表格复制回来。只需获取/放置选定的行(我认为您在这里需要)。请注意,在回传数据时应保留时间戳。实际上,对于增量备份,您只需编写扫描表并将具有给定时间戳的行获取/放入具有按日期计算的名称的表的作业
我使用的是hbase-0.94.9,我试着按照HBase在线书籍的介绍,但是我得到了错误:org.apache.hadoop.hbase.master.HMasterCommandLine:Failedtostartmasterjava.net.ConnectException:Calltolocalhost/127.0.0.1:8020failedonconnectionexception:java.net.ConnectException然后我在网上发现我必须先设置Hadoop,我在Hadoop2.0.5-alpha中使用了start-dfs.sh但是现在我得到这个错误,当我尝试运
据我了解,HIVE和HBASE都使用HDFS来存储数据。当我们整合HIVE和HBASE----数据如何在它们之间移动?或者它就像数据不会移动而只是反射(reflect)?我有兴趣了解两种情况。一:Table_1有数据及其在HIVE中,Table_2有数据及其在HBASE中。现在集成发生了(这种情况是否可能?)。数据移动是如何发生的?是从HBASE到HIVE还是从HIVE到HBASE。二:设置为场景一。现在为新插入的记录。他们会去哪里?我是HBASE的新手,有兴趣通过示例详细了解数据移动。如果需要,请改进问题。提前致谢。 最佳答案 H
如果我使用TableMapReduceUtil(Hbase)创建MR作业,似乎hbase扫描器将数据馈送到映射器并将数据从reducer转换为特定的hbase输出格式以将其存储在hbase表中。出于这个原因,我预计hbasemapreduce作业将比本地MR作业花费更多时间。那么,Hbase作业比原生MR需要多长时间? 最佳答案 关于通过HBase进行的读取可能比直接使用文件的本地map/reduce慢2-3倍。在recentlyannouncedHBase0.98他们添加了对HBase快照进行映射/缩减的功能。可以看到thispr
我编写了一个脚本来计算每2小时有多少条记录被插入到3个单独的HBase表中。我知道它很劣质,但效果很好,我检索到了所需的结果....但是,每次它在循环中工作时,我都必须调用HBaseshell。有没有办法改进我的代码,这样我就不必这样做来加快速度?#!/bin/bashdeclare-ahbaseTables=("table1""table2""table3");foriin"${hbaseTables[@]}"doecho$i>>results.txttime=1431925200000for((x=0;x>results.txtscan'$i',{TIMERANGE=>[$time