我正在为我的应用程序使用HBase，我正在尝试使用org.apache.hadoop.hbase.mapreduce.Export导出数据，因为它是指示here.我面临的问题是，一旦执行了命令，创建导出时就没有错误。但是指定的输出目录并没有出现在它的位置。我使用的命令是$bin/hbaseorg.apache.hadoop.hbase.mapreduce.Exporttable_namedb_dump/ 最佳答案 我得到了解决方案，因此我正在回复我自己的答案hadoop的conf目录下的hadoop-env.sh必须有如下两行exp
我编写了一个试图创建默认HBaseConfiguration的应用程序，但是当我将应用程序打包为jar时，它无法正常工作，因为它正在尝试使用127.0.0.1的zookeeper而不是我在/etc/hbase/conf/hbase-site.xml。该应用程序可以简化为如下所示:objectTestUtilextendsApp{valhbaseTable=newHTable(HBaseConfiguration.create,"tableName")println(hbaseTable)}当我使用以下命令运行它时，它工作正常:CLASSPATH=`hbaseclasspath`java
我已经安装了hadoop和hbase用于实时分析。我面临的问题是在线将数据从mysql迁移到Hbase。sqoop工具对于批量数据迁移很有用，有没有什么方法可以将来自mysql的数据在线传输到HBase(然后当发生插入/更新/删除时)。这样就可以实现实时分析。不是近乎实时的。请在这方面帮助我。 最佳答案 要添加有关在项目中何处使用Hive的更多信息，您可以通过多种设置将Hive和HBase集成在一起工作。例如，如果您使用AWS，则可以在同一个hadoop集群上安装HBase/Hive，以便同时对Hive表和Hbase表运行连接查询。
我正在为Hadoop构建一个自动安装脚本，我遇到了HBase无法启动的问题，因为HDFS尚未完全启动和准备就绪。我如何以编程方式(理想情况下来自Bash)判断HDFS系统是否已准备好启动HBase，以便我可以等到它启动？我尝试使用“hadoopdfsadmin-report”并搜索正确数量的节点，但显然在集群真正准备好开展业务之前，它仍会返回。 最佳答案 使用hadoopdfsadmin-safemodewait检查HDFS是否已经退出安全模式。像这样的东西应该可以解决问题:while$HADOOP_HOME/bin/hadoopd
我目前已经开始使用“hbase90.5”的以下配置“hadoop20.205”。我也想设置动物园管理员。谁能告诉我哪个版本的Zookeeper可以与上述版本的hbase配合使用？谢谢哈利 最佳答案 HBase0.90.5使用ZooKeeper3.3.2。看看它的pom.xml:3.3.2 关于hadoop-hbase和zookeeper的版本，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/quest
我用thistutorial安装了hadoop,hbasewiththisone,和hbase.thriftwiththisone现在我有了一个给定的python脚本，它可以用来创建一些hbase表。当我运行py文件时，出现错误:Traceback(mostrecentcalllast):File"./createTables.py",line9,infromhbaseimportHbaseImportError:Nomodulenamedhbase这个问题好像有同样的问题:HowcanIimporthbaseinpython?我尝试了那里给出的解决方案。我跑了thrift--genp
有没有办法在集群的每个节点上复制表数据？我需要对数据局部性的最大等级进行性能测试。默认情况下，HBase将数据分布在集群节点的一小部分(在1或2个节点上)，可能是因为我的数据不是很大(~2GB)。我知道Hbase是为更大的数据集而设计的，但在这种情况下，这对我来说是一个要求。 最佳答案 关于它有很多不错的读物*(见文章末尾)，但我会尝试用我自己的话来解释它；)HBase不负责数据复制，HadoopHDFS负责，并且默认配置复制因子为3，这意味着所有数据将存储在至少3个节点中。数据局部性是获得良好性能的一个关键方面，但实现最大数据局部
我在YouTube上阅读了一些关于HBase的文章和视频。我了解到HBase是hadoop数据库。与RDBM相比，它具有不同的体系结构(如列组等)。但是我仍然不清楚RDBMs表将如何在HBase中表示？如果有合适的教程，请告诉我。例如如果我有列为id、first_name、last_name、departement_id和salary的员工表。以及以departement_id、dept_name为列的Department表。如果我想在HBase中表示它，将如何定义它？有人可以详细说明吗？ 最佳答案 请参阅link.内部架构不同于R
我们正在设置1个主节点和2个从节点。数据在postgres和hbase及其类似的数据集(相同的行数)中设置-6500万行。然而，对于相同的查询，我们没有发现HBase的性能有可衡量的提高。我的第一个想法是-HBase是否使用所有节点的计算能力来fork查询？也许这就是为什么性能没有明显提高的原因。为什么Postgres和HBase之间的性能会大致相同的任何其他原因？要查找的任何特定配置项？编辑:我在研究这个时发现的东西:http://www.flurry.com/2012/06/12/137492485#.VaQP_5QpBpg 最佳答案
我的hbase表包含数百万行。如果我们进行扫描，至少需要一个小时才能显示所有记录。我们将日期存储为行键。我需要获取日期的最小值和最大值。我看到一个实用程序org.apache.hadoop.hbase.mapreduce.RowCounter在5分钟内计算了数百万行。有没有办法以同样的方式完成我的工作？仅供引用:我正在使用java。 最佳答案 如果您使用的是HBase0.98，您的问题应该很简单。您所要做的就是获取表中的第一行和最后一行(因为条目是有序的):通过执行限制为1的扫描获得的第一行。通过使用限制执行反向扫描获得的最后一行的
