草庐IT

BigSQL-HBase

全部标签

hadoop - Hbase 错误 java.lang.RuntimeException : Unable to run quorum server

我无法启动Hbase,每当我启动时,我只会在jps中获得Hmaster和Hregionserver。Hquorompeer不断丢失。我检查了日志,但出现以下错误:java.lang.RuntimeException:Unabletorunquorumserveratorg.apache.zookeeper.server.quorum.QuorumPeer.loadDataBase(QuorumPeer.java:454)atorg.apache.zookeeper.server.quorum.QuorumPeer.start(QuorumPeer.java:409)atorg.apac

java - 通过 Java 以编程方式设置 "hbase.server.keyvalue.maxsize"

我正在通过JavaSpringboot执行hbase操作。我遇到了错误“大小为10762275的单元格超出了10485760字节的限制”。我在某处了解到有关增加单元格大小的信息,即需要在hbase-site.xml中将“hbase.server.keyvalue.maxsize”设置为所需的大小才能解决此问题。我添加了此属性并解决了问题。但是我想通过我的Java代码添加此属性,因为我可能无法在生产中访问hbase-site.xml。我设置属性的Configuration方法是:publicConfigurationcreateHbaseConfiguration(){Configura

hadoop - HBase如何与PHP或其他连接

我是HBase的新手。目前将HBase安装为独立模式,我尝试启动HBasemaster,它正在工作。我知道有一个用于HBase连接的API,但我想知道如何从API连接HBase并获得结果。有没有这方面的教程,请帮助我。提前致谢 最佳答案 您可以使用这样的客户端:pop_hbase 关于hadoop-HBase如何与PHP或其他连接,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/5

hadoop - HBase/HDFS 部署对 100mbit/s 网络接口(interface)有意义吗?

我猜想100Mbit/s的网络接口(interface)将成为HDFS的瓶颈,并减慢其上的HBase(最大压缩速度约为10MB/s,等等)。这种部署有意义吗?我在想,“现在”当SSD进入游戏时,即使是1Gbit/s的网络接口(interface)仍然可能成为瓶颈,所以也许永远不应该考虑构建一个100Mbit/s的集群(即使是HDD)? 最佳答案 为了保持简短:您应该永远不要在HDFS中使用SSD,这些闪存的写入次数有限。HDFS有很多写入,这主要是因为复制。如果您将HBase用作NoSQL数据库,这将导致更多的写入。正如您所说的硬盘

java - 简单示例 : HBase + Spring

我找了一个简单的例子:HBase+Spring。我阅读了一些关于hbase配置的文档和文章。我配置了HBase服务器,现在我想创建客户端。我知道spring提供了什么HbaseTemplate来处理Hbase。也许有人有一个完整的例子?我需要简单的操作,如放置、获取、删除。我很乐意提供任何工作示例。谢谢,抱歉英语不好。 最佳答案 你可以查看github中的spring-hadoop示例,特别是spring-hadoop-samples/original-samples/hbase-crud中的文件。存储库位于https://gith

hadoop - Hbase 自动递增任何列/行键

我是Hbase的新手是否可以/如何在Hbase中自动递增行键?(就像每个插入行键必须自动递增一样)或者是否可以自动递增任何其他列?(就像每次插入此列都必须自动递增1) 最佳答案 不建议在HBase中单独增加行键,请参阅此以供引用:http://hbase.apache.org/book/rowkey.design.html,第6.3.2页。事实上,使用全局排序的行键会导致分布式应用程序的所有实例都写入同一区域,这将成为瓶颈。如果您可以避免使用自动递增ID并且只需要在分布式系统中具有唯一ID,则可以使用诸如“主机名”+“PID”+“T

hadoop - 删除 HBase 中的列

在HBase中,调用DeleteColumn()方法,即本质上对列族的架构更改或删除列族会导致HBase集群停机吗? 最佳答案 Deletemutation上的deleteColumn方法HBase的删除从特定行中删除特定列这不是模式更改,因为HBase不保留每行列的模式级知识(并且每行可以有不同数量和类型的列-考虑一下作为人口稀少的矩阵)。这个对象上的deleteFamily也是一样的。这不会导致集群停机(并且HBase在该区域的下一次主要压缩之前不会真正删除数据)如果你想从整个表中删除一个列族,你可以通过HBaseAdmin使用

java.lang.NoSuchFieldError : IBM_JAVA for a simple hbase java client in Eclipse 错误

如标题所示。我的源代码是:packagehbase;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apache.hadoop.hbase.client.HBaseAdmin;importorg

hadoop - 问题 : Scala code in Spark shell to retrieve data from Hbase

我们正在尝试在Sparkshell中执行一个简单的Scala代码以从Hbase检索数据。Hadoop环境启用了Kerberos,我们已确保执行kinit。调用SparkShell的步骤:MASTER=yarn-clientDRIVER_CLASSPATH="/opt/cloudera/parcels/CDH/lib/hbase/lib/*"DRIVER_LIBRARY_PATH="/opt/cloudera/parcels/CDH/lib/hadoop/lib/native"spark-shell--driver-class-path"$DRIVER_CLASSPATH"--drive

.net - 在 .NET 中使用 Thrift 在 Hbase 上进行 MapReduce?

我可以使用HadoopStreaming在.NET中使用thrift在HBase上运行MapReduce作业吗?或者是否有任何其他方法可以从.NET在HBase上运行MapReduce作业? 最佳答案 您还可以使用RESTAPI(stargate)。然而,thrift或stargate服务器都不是运行MapReduce作业的好方法。两者都需要一个单独的守护进程,这将成为一个单一的争论点,并且不会提供数据局部性。Javamapreduceapi识别输入拆分的数据局部区域。所以关键是将javaapi与.Net一起使用。Thisquest