草庐IT

hbase-unsecure

全部标签

hadoop - HBase 能否提供对其单元的实时写入/读取访问?

我从一些消息来源听说HBase是一个基于Hadoop的“批处理”进程,所以我不确定HBase是否可以提供对其单元的实时写入/读取访问?比如,应用程序要写入一段数据到HBase表的某个cell中,HBase是否需要经过Map-Reduce中使用的batchprocess把数据放到cell中?如果是这样,那么在批处理完成之前,此应用程序无法从HBase读取这条新数据...任何帮助将不胜感激! 最佳答案 是的,它确实提供“实时”访问。您所指的“批处理”过程是Hadoop上的MapReduce。HBase,只依赖HDFS存储,不依赖mapr

hadoop - 如何 "break"HBase

我们正在尝试一些工具来拍摄Hbase的快照并恢复它。我没有运行实时HBase的经验,所以我不知道我们将来可能会遇到什么问题,这可能会使HBase处于不一致状态。有谁知道如何模拟现实生活来破解我们的HBase数据来测试我们的快照?任何事情都会受到赞赏,例如错误的代码、错误的shell命令甚至拔掉网络。 最佳答案 在循环中存储具有大值(兆字节)的key,这样您就可以用完磁盘空间Hadoop版本与出厂版本不匹配将操作系统上允许打开的文件数设置为非常低的数量将JVM内存参数设置为非常低的值(刚好足以启动HBase)并使用查询使其过载将JVM

spring - 如何在spring上设置hbase

我在远程集群上安装了Hbase,并成功使用HbaseAPI访问数据。但我需要通过网络应用程序与数据进行交互。是否有使用必要的配置文件在spring/JSF2上设置hbase的helloworld示例。 最佳答案 在google的顶部先睹为快。http://static.springsource.org/spring-hadoop/docs/snapshot/reference/html/hbase.html 关于spring-如何在spring上设置hbase,我们在StackOverf

hadoop - Hbase如何拆分多个regionServer中的记录?

我有Hbase的集群设置:1HMaster节点和3个区域服务器我想知道:当我们在表中插入多行时,Hbase如何将记录拆分到多个regionServer?Hfile是否有排序的键值记录(rowKey:cf:TimeStamp)?如果是,那么Hbase如何维护事务表中的排序键顺序。我读到META表保留了表信息,如(Table_name,Region(StartKey-EndKey))是否正确? 最佳答案 我对您的问题有点困惑,但是当您将多行插入表中时,会查找.META.表来查找哪个区域应该获得突变,然后客户端将其发送到相应的hbase区

hadoop - 在 hbase 中的一行上建立写锁

我正在尝试测试一个工作流,在该工作流中,我所做的更改对删除进行了重新排序,以及它如何从hbase中清除其他索引。删除了3个不同的索引。逻辑在某种程度上与此操作大致相似。try{try{hTable.delete(firstIndexDeletes);}catch(IOExceptionie){//cleanupandexceptionhandlingforfirstindex}//moreprocessinglogicforsecondindextry{hTable.delete(secondIndexDeletes)}catch(IOExceptionie){//Cleanupand

hadoop - 无法在配置单元中创建外部表以指向 hbase 一个

我是一名学生,试图了解所有hadoop的工作原理。所以,我在15台机器上运行cloudera。配置没问题,所有服务都是绿色的。我在hbase下导入了一个mysql12k行,一切都很顺利。我想对这些数据进行查询,但我知道我不能使用hbase。这就是为什么我想使用以下代码创建外部View:CREATEEXTERNALTABLEViewSimulation2(idint,eolint,sensorint,value1float,value2float,value3float,value4float,value5float,value6float)STOREDBY'org.apache.had

java - HBase - Java 中的 java.lang.NoClassDefFoundError

我只是想用Java与Hbase交互importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.*;importorg.apache.hadoop.hbase.HBaseConfiguration;publicclassTestHBase{publicstaticvoidmain(String[]args)throwsException{Configur

java - HBase:如何通过限定符和值使用过滤器扫描时获得完整的行?

我们需要扫描一个HBase表,在限定符匹配特定模式的列上搜索具有特定值的行。我们正在设置这样的过滤器:newFilterList(MUST_PASS_ALL,newFamilyFilter(EQUAL,newBinaryComparator(bytes(someFamily))),newQualifierFilter(EQUAL,newRegexStringComparator(qualifierRegex)),newValueFilter(EQUAL,newSubstringComparator(detailValue)))当在Scan中执行时,它与我们想要的列和值完全匹配,但Sca

java - 如何一次导入/导出所有Hbase表?

$bin/hbaseorg.apache.hadoop.hbase.mapreduce.Export[[[]]]上面的命令对于仅导出单个表很有用,但是它非常耗时所以我想一次导出所有表所以有没有一次导出所有表的命令? 最佳答案 在每个表的基础上导入/导出工作。或者,您可以使用Hadoop的distcp命令将整个/hbase目录从一个HDFS集群复制到另一个。但是,这会使您的数据处于不一致状态,因此应该避免。我想指出一个由Mozilla人员开发的备份工具,他们说它消除了distcp的限制。查看他们的post了解更多详情。

java - Hbase 表不一致[区域未部署在任何区域服务器上]

在一个小型的HBase集群中,所有的从节点都被重启了。当我启动HBase服务时,其中一个表(测试)变得不一致。在HDFS中,一些block丢失了(hbaseblock)。所以它处于安全模式。我给出了safemode-leave命令。然后HBase表(测试)变得不一致。我执行了以下提到的操作:我执行了几次“hbasehbck”。为表“测试”找到2个不一致。错误:区域{meta=>test,1m\x00\x03\x1B\x15,1393439284371.4c213a47bba83c47075f21fec7c6d862.,hdfs=>hdfs://master:9000/hbase/tes