我正在处理存储在HBase中的大量数据。存储在我的列中的许多值实际上是数据的“vector”——多个值。我着手处理存储多个值的方法是通过ByteBuffer。因为我知道列族中每一列中存储的数据类型，所以我编写了一系列扩展基类的类，该基类环绕ByteBuffer并为我提供了一组简单的方法来读取各个值以及在末尾附加附加值。我独立于我的HBase项目测试了这个类，它按预期工作。为了更新我的数据库(几乎每一行在每次更新中都会更新)，我使用TableMappermapreduce作业来迭代数据库中的每一行。我的每个映射器(在我的集群中有六个)将整个更新文件(很少超过50MB)加载到内存中，然后在
哪些任务不应该使用HBase？我的理解是，HBase和HDFS应该被视为transient数据存储，仅在map/reduce作业需要它们的时间内保存数据。用HBase作为规范数据存储不合适吗？无论如何，它的随机访问延迟峰值使得这非常不切实际，但这可以通过缓存和其他badn-aids来缓解。 最佳答案 HBase应该用作规范的数据存储(如BigTable，它在许多Google服务中被大量使用)。HDFS是为MapReduce设计的，但HBase是建立在HDFS之上的，它允许的不仅仅是MapReduce。HBase实际上是一个数据库。您
我们在EC2上有一个带有6个区域服务器的小型Hbase集群。最近我们发现其中一个列族中的数据对我们来说真的没有那么有用，因此决定放弃它。这个特定的列族占用了超过50%的磁盘空间。我们更改了表，删除了列族并运行了主要压缩。我们还对“-ROOT-”和“.META”进行了主要压缩。表。但是DFS文件总大小仍然没有减少？我们在这里错过了什么吗？任何帮助/指点将不胜感激。问候。 最佳答案 只是添加另一件事来检查-至少在Hbase0.90.4中，删除表会从HDFS中删除文件，但.logs目录的内容不一定。例如，运行hadoopfs-du/you
我正在尝试启动hbasemaster但出现以下错误:CouldnotstartZKatrequestedportof2181.ZKwasstartedatport:2182.Abortingasclients(e.g.shell)willnotbeabletofindthisZKquorum.13/07/1406:33:23ERRORmaster.HMasterCommandLine:Failedtostartmasterjava.io.IOException:CouldnotstartZKatrequestedportof2181.ZKwasstartedatport:2182.Ab
我正在使用PIG处理HBase表中的行。HBase表中的值存储为字节数组。我不知道我是否必须编写一个将字节数组转换为各种类型的UDF，或者pig是否会自动执行此操作。我有以下脚本:raw=LOAD'hbase://TABLE'USINGorg.apache.pig.backend.hadoop.hbase.HBaseStorage('CF:I')AS(product_id:bytearray);ids=FOREACHrawGENERATE(int)product_id;dumpids;我得到一个括号'()'的列表。根据docs，它应该工作。我检查了hbaseshell中的值它们都是va
我尝试使用以下命令将数据插入到hbase中:hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.columns=HBASE_ROW_KEY,f:pageviews,f:visit-Dimporttsv.separator=\001-Dimporttsv.bulk.output=outputmodelvar/000000.gzhbaseorg.apache.hadoop.hbase.mapreduce.LoadIncrementalHFilesmodelvaroutput其中modelvar是假设存储数据的最终hbase
我已引用本教程(http://wiki.apache.org/nutch/Nutch2Tutorial)来设置Nutch2.2.1.withHbase。我已经完成了教程中给出的设置，但是没有明确提到如何爬取数据并将数据存储到Hbase表中。你能给我推荐一些相关的链接/书籍吗？ 最佳答案 对我最有帮助的是:http://sujitpal.blogspot.cz/2011/01/exploring-nutch-20-hbase-storage.html映射到hbase定义在这里NUTCH_HOME/conf/gora-hbase-map
我正在尝试使用mapreduce作业从Hbase表中删除行。我收到以下错误。java.lang.ClassCastException:org.apache.hadoop.hbase.client.Deletecannotbecasttoorg.apache.hadoop.hbase.KeyValueatorg.apache.hadoop.hbase.mapreduce.HFileOutputFormat$1.write(HFileOutputFormat.java:124)atorg.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWr
我的源文件以csv格式位于ftp服务器中。我想将这些文件导入HDFS进行进一步处理。我不知道如何获取这些csv文件。谁能帮我解决这个问题？ 最佳答案 您可以将此过程分为两步并将文件上传到hdfs。第一步:从ftp服务器下载文件并存储在本地。这应该有所帮助:TransferfilesfromFTPservertolocalunixserver第2步:在本地拥有文件后，您可以使用hadoopfs-put将文件传输到hdfs。例子。如果你的文件名是temp.csv你可以这样做:hadoopfs-puttemp.csv$hadoop_pat
我正在尝试以伪分布式模式运行Hbase。我关注了thislink.我使用的是ubuntu版本12.04Hbase版本0.94.8Hadoop版本2.4.0在hbase/conf/hbase-env.sh中，我添加了以下内容exportJAVA_HOME=/usr/lib/jvm/jdk1.7.0_25exportHBASE_REGIONSERVERS=/usr/lib/hbase/hbase-0.94.8/conf/regionserversexportHBASE_MANAGES_ZK=true然后我在bashrc文件中设置HBASE_HOME路径在hbase/conf/hbase-s
