草庐IT

hbase-parameter-tuning

全部标签

hadoop - 在选择hbase之前应该考虑什么?

我是大数据领域的新手。我们从团队那里得到建议,我们应该使用hbase而不是RDBMS以获得高性能。在将RDMS切换到hbase之前,我们不知道应该/必须考虑什么。有什么想法吗? 最佳答案 Oneofmyfavouritebookdescribes..来到@Whitefret的最后一点:有一些东西叫做CAPtheorm根据可以做出的决定。一致性(所有节点同时看到相同的数据)可用性(每个请求都会收到关于成功或失败的响应)Partitiontolerance(由于网络故障导致任意分区,系统继续运行)在此上下文中,Hbase支持CP但是,要

hadoop - hbase shell 命令 : how to use the QualifierFilter

在hbaseshell中运行以下命令,尝试让QualifierFilter工作:importorg.apache.hadoop.hbase.filter.CompareFilterimportorg.apache.hadoop.hbase.filter.SingleColumnValueFilterimportorg.apache.hadoop.hbase.filter.SubstringComparatorimportorg.apache.hadoop.hbase.util.Bytesimportorg.apache.hadoop.hbase.filter.QualifierFilt

apache - hadoop和hbase最新兼容版本

我必须在4台机器上安装hadoop和hbase。我找到了最新版本的hadoop-2.6.0和hbase-0.98.9-hadoop2-bin。1)它们兼容吗?2)我应该如何在4台机器上安装hbase和hadoop,即多少个主机和从机等? 最佳答案 回答您的问题:查看Hbase-Hadoop兼容性link.hbase-0.98.9应该支持hadoop-2.6.0。你有两个选择1个主节点和3个从节点。(因为你只有4个节点配置就足够了)如果要启用HA,可以选择2个主节点和2个从节点。 关于ap

python - 从 python (happybase) 写入 hbase 表

我正在运行一个map-reduce作业,现在我想将值输入到hbase中。我通过stdin从map-reduce作业流式传输值,并有一个python脚本在happybase上插入(放置)行.我遇到了不同类型的问题,从python执行put。据我了解,最近的问题似乎与库兼容性问题有关。错误日志显示iteritems的问题。happybasemanual指的是排序查询所需的额外python库,从python版本2.7开始不需要这些库(我运行的是2.7.6)。有没有人遇到过类似的问题?它们可以很容易地修复吗,或者您会推荐使用不同的界面吗?更多详情我安装了hadoop(2.6.0)和hbase(

java - HBase - 无法抑制 fs 关闭 Hook

我试图通过运行HMaster类在IDEA中启动HBase,但出现此错误:java.lang.RuntimeException:Failedsuppressionoffsshutdownhook:Thread[Thread-8,5,main]atorg.apache.hadoop.hbase.regionserver.ShutdownHook.suppressHdfsShutdownHook(ShutdownHook.java:196)atorg.apache.hadoop.hbase.regionserver.ShutdownHook.install(ShutdownHook.java

database - 关于 hadoop、hbase 等非 sql 数据库的帮助

我是Hadoop、Cassandra等分布式NoSQL数据库的新手。我有几个问题需要寻求专家的建议:您能否列出从目前的传统数据库(如MySQL)转移到这些基于集群的大型数据库时通常会遇到的问题/挑战?当需要适应这些开源项目的更新版本时,有什么困难(如果有的话)?您能否列出通常存储/保留在memcached中以快速呈现页面的内容?我如何才能理解开源项目的源代码,以便我可以在此基础上进行构建并回馈社区?以上问题可能听起来很白痴和基础,但请专家们尽可能详细地回答以上问题。 最佳答案 我可以提供一些想法:1:文档和示例一直是我使用Hadoo

hadoop - HBase 绑定(bind)到错误的地址

我正在尝试以伪分布式模式运行HBase。我已按照教程中的所有步骤进行操作。我的hbase-site.xml如下所示:hbase.rootdirhdfs://localhost:9000/hbasedfs.replication1我的regionservers看起来像这样(默认):localhost在日志中,Zookeeper启动正常,MiniZK启动正常,然后我得到一个BindException,这是罪魁祸首:Causedby:java.net.BindException:Problembindingto/192.168.0.1:0:Cannotassignrequestedaddre

hadoop - 替换 hbase/lib/中的 hadoop*.jar 后,hbase 0.90.5 无法正常工作

我有Debian6.03和最好的friendhbase和hadoop的问题一步一步,我想要工作配置hbase(第一步是独立的)和hadoop:wgethttp://www.sai.msu.su/apache//hbase/hbase-0.90.5/hbase-0.90.5.tar.gztarxzfvhbase-0.90.5.tar.gzsudomvhbase-0.90.5/usr/local/sudoln-shbase-0.90.5/hbasesudochown-Rhduser:hadoophbase*lrwxrwxrwx1hduserhadoop13Янв2110:11hbase->

scala - ZooKeeper 返回 HBase 服务器地址的垃圾字符

这个问题不太可能帮助任何future的访问者;它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况有关,这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用,visitthehelpcenter.关闭10年前。最近怎么样?对不起,如果我在这里听起来很愚蠢。我正在尝试创建一个基本的play2.0-HBase应用程序。当我尝试从游戏连接HBase时,ZooKeeper向我返回HBase服务器地址的垃圾字符。defmain(args:Array[String]):Unit={valconf=HBaseConfigurationcreatevaladmin=newHB

data-structures - 如何存储图表并在其 hbase 上运行类似分析的页面排名?

很抱歉,如果这个问题看起来有点复杂,但我认为它都是相关的,所以我想尝试一下就得到答案。基本上我有一个分层图*,它有各种数据集,这些数据集只连接到下一组数据(所以set1的顶点有set2的边,依此类推,但set1没有连接到set3或set2以外的任何东西.这可能是相关的不确定)。通常,您可以将我的数据视为一棵巨大的家谱树(我在每个集合中添加大约十亿个节点),我不断为每个新集合加载新的世代(家族创建新家族,没有边向后退)。我有一个正在运行的Hbase/hadoop系统,我知道如何使用java添加列和值,但我不知道该怎么做:以图形类型格式将数据添加到hbase(因为它是hbase,我想以一种