草庐IT

hadoop - Hive转HBase的问题

我看到一个外部Hive表存储了HBase的数据:CREATEEXTERNALTABLEIFNOTEXISTSods.demo_table(rowkeyStringCOMMENT'rowkeyofhbase',....)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"="info:...")TBLPROPERTIES("hbase.table.name"="...","hbase.mapred.output.outputtable"="

hadoop - 使用 ElasticSearch 作为永久存储

最近在做一个项目,每天都会产生大量的数据,在这个项目中,有两个功能,一个是将数据存储到Hbase中,以供日后分析,二是将数据推送到ElasticSearch中,以供监控.由于数据庞大,我们应该将数据存储到两个平台(Hbase,Elasticsearch)!我对他们两个都没有经验。我不想知道是否可以使用elasticsearch而不是hbase作为future分析的持久性存储? 最佳答案 我建议您阅读这篇古老但仍然有效的文章:https://www.elastic.co/blog/found-elasticsearch-as-nosq

apache - 是否可以使用 hbase2 构建和使用 apache kylin

在apachekylin发行版中,我只能看到哪些与hbase1.x兼容。我的hbase版本是2.0如果有人用hbase2.x测试了kylin请发表评论。感谢和问候拉胡尔 最佳答案 我们最近正在HBase2.0(HDP3.0)上测试Kylin。HBase中的API发生了变化,因此我们无法直接在HBase2.0上运行Kylin-HBase1.x。完成这项工作后,我们将发布HBase2.x版本。请继续关注! 关于apache-是否可以使用hbase2构建和使用apachekylin,我们在St

java - 如何通过 Maven 在 Intellij 中导入 hadoop.hbase.mapreduce?

我打算在IntelliJ中使用Hadoop的伪分布式模式。目前,我可以在笔记本电脑上成功运行WordCount示例代码。然后,我尝试编写另一个代码,其中包括hbase的用法。但是,我无法在我的代码中导入importorg.apache.hadoop.hbase.mapreduce.TableReducer;。我试图添加不同的Maven依赖项,但它不起作用。这是hadoop代码:packagetopten;importjava.io.*;importjava.util.Map;importjava.util.TreeMap;importjava.util.HashMap;importor

hadoop - 来自 HTable 的 MapReduce 输入

我有一个MapReduce作业,其输入来自HTable。在JavaMapReduce代码中,如何将作业输入格式设置为HBaseTableInputFormat?有没有类似JDBC连接的东西连接到HTable数据库? 最佳答案 如果您的客户端和HBase在同一台机器上运行,则无需为客户端配置任何内容即可与HBase通信。只需创建一个HBaseConfiguration实例并连接到您的HTable:Configurationconf=HBaseConfiguration.create();HTabletable=newHTable(co

hadoop - Hbase master 启动失败异常Java.Lang.NoSuchMethodException

我正在关注LarsGeorgeHbase权威指南。我正在我的MountainLionMacbookpro上设置一个伪分布式集群。我下载了Hadoop存档0.20.205.0,解压缩并做了一些小改动dfs.replication=1和其他人。当我在hbase-site.xml中进行更改以指定localhosthdfsnamenode时hbase.rootdir=hdfs://localhost:9000/hbase还有一些其他属性,比如zookeeperquorum,zookeeperdataDir,isDistributed=true等等。然而,在运行时bin/start-hbase.

hadoop - 如何选择zookeeper和regionserver

设置regionserver和zookeeperquorum的最佳做法是什么?我有一个包含16个节点的小型hadoop集群。按照http://hbase.apache.org/book/example_config.html中给出的示例我选择16个节点作为区域服务器,并选择这些节点的一个子集作为zookeeper。但是当一个作业由不在与hbase.zookeeper.quorum对应的列表中的节点启动时,我收到以下错误:13/08/2315:40:05INFOzookeeper.ClientCnxn:Openingsocketconnectiontoserverlocalhost/0:

java - HBase 不存储所有记录

我的MongoDB数据库中有120万条记录。我想以编程方式将所有这些数据存储在HBase中。基本上我尝试将每个检索到的记录循环放入HBase。操作完成后,我在HBase上得到只有39912条记录。这是我尝试过的:Configurationconfig=HBaseConfiguration.create();StringtableName="storedtweet";StringfamilyName="msg";StringqualifierName="msg";HTabletable=newHTable(config,tableName);//usingSpringDataMongoD

java - 无法使用 mapreduce.LoadIncrementalHFiles 将 HFiles 加载到 HBase

我想使用HBase批量加载APILoadIncrementalHFiles.doBulkLoad(newPath(),hTable)将我的map-reduce作业的输出插入到HBase表中。我从我的映射器发出KeyValue数据类型,然后使用HFileOutputFormat使用其默认缩减器准备我的HFile。当我运行我的map-reduce作业时,它没有任何错误地完成并创建了输出文件,但是,最后一步-将HFiles插入HBase并没有发生。我的map-reduce完成后出现以下错误:13/09/0803:39:51WARNmapreduce.LoadIncrementalHFiles

hadoop - 用于故障转移的 Apache HBase 复制

ApacheHBase:Replication:Slave/Replication集群是否也用于故障转移处理而不是单独的数据恢复? 最佳答案 是的。HBaseReplication可以用作灾难恢复解决方案,并有助于提供更高的可用性或故障转移。我假设您已经完成了这个page其中谈到了HBase复制。 关于hadoop-用于故障转移的ApacheHBase复制,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co