草庐IT

hbase-default

全部标签

hadoop - HBase 压缩队列大小到底是多少?

有人知道区域服务器队列大小是什么意思吗?根据文档的定义:9.2.5.hbase.regionserver.compactionQueueSizeSizeofthecompactionqueue.Thisisthenumberofstoresintheregionthathavebeentargetedforcompaction.就是regionserver需要被majorcompacted的Store(或者storefiles?听说过两个版本)的数量。我的工作是使用顺序键(非分布式)以热点方式写入数据。我在度量历史记录中看到,一次发生了compaction-queue-size=4。这

hadoop - Hbase master 没有正确启动

我正在使用Hadoop2.4.0/Hbase0.98.0/Hive0.14.0在我重新启动HMaster之前,Hadoop和HBase运行良好。hbase-hduser-master-master.log文件中出现以下错误:2015-02-1705:46:15,157INFO[master:master:60000]master.TableNamespaceManager:Namespacetablenotfound.Creating...2015-02-1705:46:15,193DEBUG[master:master:60000]lock.ZKInterProcessLockBas

java - 什么是最好的 Java HBase 客户端 API

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。关闭3年前。Improvethisquestion我正在做一个项目,我必须在其中使用hbase。该项目是基于java的。我需要知道什么是最好的javahbase客户端api。

hadoop - 以编程方式创建 HFile 并将其加载到 HBase 时,新条目不可用

我正在尝试以编程方式创建HFile并将它们加载到正在运行的HBase实例中。我在HFileOutputFormat和LoadIncrementalHFiles中找到了很多信息我设法创建了新的HFile,并将其发送到集群。在集群Web界面中,新的存储文件出现,但新的键范围不可用。InputStreamstream=ProgrammaticHFileGeneration.class.getResourceAsStream("ga-hourly.txt");BufferedReaderreader=newBufferedReader(newInputStreamReader(stream))

hadoop - HBase 客户端在 JBoss AS 7.1 下不工作

我有一个需要与HBase服务器远程对话的JBoss应用程序。使用简单的控制台项目时,HBase客户端可以完美运行,但是当部署在JBoss服务器中时,看起来服务器没有加载类org.apache.hadoop.hdfs.web.resources.UserProvider。任何人都可以提供解决方法或修复帮助吗??非常感谢您的回复。错误信息错误[org.apache.catalina.core.ContainerBase.[jboss.web].[default-host].[/HFPlatformWeb]](http--0.0.0.0-8080-6)StandardWrapper.Thro

java - 如何刷新HBase中的表

我正在使用HBase(客户端中的0.98,服务器为HBase1.1.2),底层数据存储为HDFS。我尝试使用以下代码刷新表,并且能够看到刷新到Hadoop中的HFile位置的数据。htable.put(puts);htable.close();admin.flush(tableName);Hadoop中的数据位置./hadoopfs-du/hbase/data/default/tableName/当我关闭电源并重新启动节点、重新启动Hadoop和HBase时,我能够看到HDFS中的数据已损坏。如果数据正确刷新到HFile,为什么它在电源关闭期间会损坏。我是否需要对刷新表格的代码进行任何

hadoop - HBase 独立性能与在 HDFS 集群上运行的对比

我的应用程序连接到HBase并进行大量通信(每秒数百或数千次读/写)。这会严重影响性能,可能是由于HBase对每个请求执行的I/O操作。Doo.dle是对我的代码的调用-蓝色和红色之间的区别是HBase消耗的时间。目前,我只在独立模式下进行了测试,其中HBase使用本地文件系统存储数据。我想知道,在分布式模式下使用一个实际的HDFS是否可以显着提高性能,或者只是产生相同的结果。我试图在浪费太多时间启动和运行集群之前获得线索。我问自己的第二个问题是,是否可以将独立的HBase配置为仅将数据持久保存到内存(RAM),而不是将其写入文件系统以进行性能测量。 最佳答

java - hbase 客户端 API 卡在 table.get(row),

我正在使用hbase的nativeAPI编写HbaseJava客户端。我可以连接到hbase并使用我创建的Hbase客户端运行各种查询。我用“hbaseclasspath”命令运行了我的hbase客户端。这解决了所有依赖关系。现在我们希望这个hbase客户端成为项目的一部分,该项目将它作为其组件之一。所以在集成它之后我们需要将它作为项目的War文件的一部分运行,(我们需要将它作为restAPI的一部分运行)。我添加了hbase-site.xml。hdfs-site.xml和core-site.xml作为资源并设置为配置对象的资源。Configurationconf=HBaseConfi

hadoop - 将 HBase 连接到 HDFS 时 Hbase Shell 中的连接被拒绝

我正在尝试将我的HBase连接到HDFS。我有我的hdfsnamenode(bin/hdfsnamenode)和datnode(/bin/hdfsdatanode)正在运行。我还可以启动我的Hbase(sudo./bin/start-hbase.sh)和本地区域服务器(sudo./bin/local-regionservers.shstart12)。但是当我尝试从Hbaseshell执行命令时,出现以下错误:cis655stu@cis655stu-VirtualBox:/teaching/14f-cis655/proj-dtracing/hbase/hbase-0.99.0-SNAPS

hadoop - 我们可以从 HBase 表中获取所有列名吗?

设置:我有一个HBase表,有1亿多行和100万多列。每行只有2到5列的数据。只有1个列族。问题:我想找出所有不同的qualifiers(列)在此columnfamily.有快速的方法吗?我可以考虑扫描整个表,然后得到familyMap对于每一行,得到qualifier并将其添加到Set.但这会非常慢,因为有1亿多行。我们能做得更好吗? 最佳答案 您可以为此使用mapreduce。在这种情况下,您不需要像协处理器那样为hbase安装自定义库。下面是创建mapreduce任务的代码。工作设置Jobjob=Job.getInstance