草庐IT

BigSQL-HBase

全部标签

java - 如何对 Java Hbase API 进行单元测试

我正在使用JavaHBaseAPI从Hbase获取值。这是我的代码。publicclassGetViewFromHbaseBoltextendsBaseBasicBolt{privateHTabletable;privateStringzkQuorum;privateStringzkClientPort;privateStringtableName;publicGetViewFromHbaseBolt(Stringtable,StringzkQuorum,StringzkClientPort){this.tableName=table;this.zkQuorum=zkQuorum;th

hadoop - OLAP CUBE可以在HBase中做吗?

有什么方法可以用它在HBase或OLAP中创建CUBEDIMENSIONS吗?我想使用我的HBASE或HIVE创建CUBEDIMENSIONS类型的应用程序并将其与SSAS连接以用于报告目的,这可能吗?如果是这样,请通过一些链接和代码指导我。我已经尝试在配置单元中创建多维数据集View,我想知道这是否可以通过HBase实现。谢谢... 最佳答案 很有可能。事实上,最近已经进行了多次尝试。参见HBase-Lattice和urbanairshipdatacube,例如。您可能还会找到这个presentation很有帮助,它讨论了HBas

hadoop - 使用 hbase.hregion.max.filesize 自动分割 HBase 区域

我正在使用HBase的cloudera发行版(hbase-0.94.6-cdh4.5.0)和cloudera管理器来设置所有集群的配置。我已经为HBase设置了以下属性:hbase.hregion.max.filesize10737418240hbase-default.xml注意:1073741824010G因此,根据我阅读的所有文档,数据应累积到单个区域中,直到区域大小达到10G。但是,好像不行。。。也许我错过了什么......这是我的hbase表的所有区域及其大小:root@hadoopmaster01:~#hdfsdfs-du-h/hbase/my_table第719话0/hb

hadoop - HBase 错误 : zookeeper. znode.parent 不匹配

我正在尝试学习Hadoop,并且我已经达到了Hadoop权威指南中的HBase部分。我试图启动HBase但出现错误。有人可以给我分步指南吗?opel@ubuntu:~$zkServer.shstartJMXenabledbydefaultUsingconfig:/home/opel/zookeeper-3.4.6/bin/../conf/zoo.cfgStartingzookeeper...STARTEDopel@ubuntu:~$start-hbase.shstartingmaster,loggingto/home/opel/hbase-0.94.20/logs/hbase-opel

hadoop - 错误 : org. apache.hadoop.hbase.MasterNotRunningException: null+hbase+hadoop

我最近用两台机器(在ubuntu上)配置了hadoop集群。到目前为止它工作正常。但是当我尝试在上面的hadoop集群上配置hbase时,它​​显示错误。这是我所做的,我有两台机器。192.168.1.110Hadoop主机192.168.1.111Hadoop从机conf/hbase-env.sh导出JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22exportHBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf导出HBASE_MANAGES_ZK=truehbase-site.xmlhbase.master

hadoop - 如何清除 HBase UI 中的死区服务器?

我已经从我的HBase集群中删除了一个区域服务器。我从$HBASE_HOME/conf/regionservers中删除了它的主机名,并重新启动了HBase集群,但是HBaseUI仍然将删除的区域服务器显示为“死亡”区域服务器。hbaseshell中的'status'命令也将其显示为死区服务器。我应该如何摆脱它? 最佳答案 集群被死区服务器困扰:DHBase有时可能仍将退役区域服务器显示为已死。这是因为,deadregionserver的WAL(Write-AheadLog)还在HDFS中处于“split”状态,所以从HBase的角

java - 如何为我的 Java 应用程序配置远程 Hbase 服务器

我是Hadoop和Hbase的新手,Hbase与RDMS完全不同。我想创建一个表并使用MapReduce将其加载到Hbase中。Hadoop和Hbase在不同的服务器上。我可以使用“Putty”使用IP地址、用户名和密码访问该服务器。在JDBC中,我们可以使用驱动程序、用户名和密码进行配置,但在HBase中,我如何为我机器上的应用程序配置IP地址、用户名和密码。我检查了“hbase-site.xml”。 最佳答案 连接到远程系统时,您可以使用此代码进行配置config.set("hbase.zookeeper.quorum",arg

java - 如何在类路径中包含 hbase-site.xml

我目前正在尝试让我的HBase代码使用我的hbase-site.xml中指定的设置。它似乎使用默认设置而不是hbase-site.xml配置文件中指定的设置。更新文件后我重新启动了HBase集群,但它仍然没有使用我更新的配置文件。我使用的集群是2个节点,其中一个是master。两个节点上的配置文件都将主节点的IP指定为zookeeperquorum。我认为问题是我在hbase-site.xml中指定的设置没有被使用,因为如果我通过代码将zookeeperquorum设置为与我的hbase-site.xml中相同的值,代码运行正常,但第二个节点不能如果未通过代码指定法定人数,请联系mas

hadoop - 使用 HBASE 的 Spark 与使用 HDFS 的 Spark

我知道HBASE是一个列式数据库,将表的结构化数据按列而不是按行存储到HDFS中。我知道Spark可以从HDFS读取/写入,并且有一些用于Spark的HBASE连接器现在也可以读写HBASE表。问题:1)在HBASE之上分层Spark而不是单独使用HBASE带来了哪些附加功能?这仅取决于程序员的能力,或者是否有任何性能理由这样做?有没有Spark可以做而HBASE不能做的事情?2)源于上一个问题,什么时候应该在HDFS和SPARK之间添加HBASE而不是直接使用HDFS? 最佳答案 1)Whataretheaddedcapabili

azure - HDInsight : HBase or Azure Table Storage?

目前,我的团队正在创建一个使用HDInsight的解决方案。我们每天将获得5TB的数据,并且需要对这些数据执行一些map/reduce作业。如果我们的数据存储在AzureTableStorage而不是AzureHBase中,会有任何性能/成本差异吗? 最佳答案 主要区别在于功能和成本。AzureTableStorage本身没有附加mapreduce引擎,但您当然可以使用mapreduce方法编写自己的引擎。您可以使用AzureHDInsight将MapReduce连接到表存储。周围有几个连接器,包括我编写的一个以配置单元为中心的连接