我们在amazonEMR上有一个默认配置的hadoop+hbase集群，所以mapred.child.tmp和hbase.tmp.dir都指向/tmp。我们的集群已经运行了一段时间，现在/tmp为500Gb，而实际/hbase数据为70Gb。这种差异似乎太大了，我们是否应该定期删除一些/tmp数据？ 最佳答案 经过一些调查，我发现我们的/tmp数据的最大部分是由Amazon将Hbase自动备份到S3期间失败的mapreduce任务创建的。我们成功的mapreduce任务不会在/tmp中留下太多数据。我们决定禁用Amazon的自动备份
我对hbase有点陌生，已经能够设置hbase并查询存储在多台hadoop机器上的数据，但我想知道是否也可以在hbase中分发数据分析。这是我的情况，我有几十亿条记录需要快速分析，我想让X服务器查询数据库并获取查询的独特部分，以便它们可以处理它，而不是让单个服务器遍历整个数据集。这可能吗？我该怎么做？我非常不确定如何处理这个问题，因为我意识到所有查询都需要协调(每个服务器不能单独查询hbase，否则hbase将不知道如何在服务器之间拆分请求)。我很困惑，但我想也许有一种native方法可以在hadoop中执行此操作？如果有帮助，我的应用程序正在运行java，并且我正在使用clouder
我对HBase或Hadoop比较陌生，这听起来可能很天真。然而..我在Hbase与现有hadoop集群的集成方面遇到了问题。为了学习，我配置了一个2节点的Hadoop1.1.1集群。让我们说主人和奴隶。我什至可以毫无问题地运行mapreduce示例。在Master上---1.Namenode2.SecondaryNamenode3.JobTracker+4.Datanode5.TasktrackerOnSalve---1.Datanode2.TaskTracker现在，我想在这个hadoop集群上运行HBase0.90.6。问题是这个版本的HBase与Hadoop-code-appen
我们有一个包含多个家庭的HBase表，我们需要删除某个家庭的所有数据，但其余部分保持不变。我们只需要删除数据，并将家庭留在那里，因为我们将用该家庭的新数据重新填充表。最简单的方法似乎是从文件系统中删除与该家族关联的文件(位于../{table_name}/{some_hash}/{family_name}/下)。这样做有什么我们应该注意的副作用吗？如果有，是否有更安全、更简单的方法来做到这一点？ 最佳答案 更安全的方法是deleteColumn并完全删除该系列，然后使用addColumn重新添加它.请注意，您需要在进行这些更改之前禁
我已经在我的HDFS0.20.0上启动并运行了HBase0.94.0。我正在做作业，我必须将我的列族放入In-Memory我有两个列族No和Subject。将它们设置为In-Memory之后newHColumnDescriptor("No").setInMemory(true);newHColumnDescriptor("Subject").setInMemory(true);当我检查我的localhost:60010时，表的详细信息仍然显示IN_MEMORY=>'false'为什么会这样？我需要的不仅仅是设置.setInMemory(true) 最佳答案
我正在用Hadoop和HBase做一个测试项目。目前集群有2个Ubuntu虚拟机托管在Windows机器上。我能够使用以下HBaseJavaAPI配置远程执行PUT、QUERY和DELETE操作(在我的主机中)config=HBaseConfiguration.create();config.set("hbase.zookeeper.quorum","192.168.56.90");config.set("hbase.zookeeper.property.clientPort","2222");当我尝试使用与上述相同的配置在Windows上运行HBaseMapReduce作业时，出现以
是否可以对HBase批量放置进行故障排除？我一次使用HBase批量放置5000条记录，我想在放置失败时找出哪一行或哪几行导致问题并记录下来。 最佳答案 方法HTable.batch(Listactions)接收一个Puts列表并返回一个与actions列表大小相同的数组(你给函数的puts列表)。如果actions(i)失败，则result[i]将为空。请注意，当batch()中的失败是由于最大尝试写入次数时，您需要捕获RetriesExhaustedWithDetailsException，并调用getExceptions()，以
我正在尝试解决以下错误:13/05/0519:49:04INFOhandler.OpenRegionHandler:Openingofregion{NAME=>'-ROOT-,,0',STARTKEY=>'',ENDKEY=>'',ENCODED=>70236052,}failed,markingasFAILED_OPENinZK13/05/0519:49:04INFOregionserver.HRegionServer:Receivedrequesttoopenregion:-ROOT-,,0.7023605213/05/0519:49:04INFOregionserver.HReg
我想使用Hive(hivehbase集成)将表存储到HBase中我的表包含一个类型为TIMESTAMP的字段(如DATE)我做了一些研究，发现HBASE不支持TIMESTAMP，我该怎么办？Causedby:org.apache.hadoop.hive.ql.metadata.HiveException:Errorevaluatingdatatorg.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:80)atorg.apache.hadoop.hive.ql.exec.Operator.pr
我已经启动了hbase，所有守护进程都在运行。$jps8482HQuorumPeer25105RemoteMavenServer9133SecondaryNameNode11883HRegionServer13793Jps8545NameNode8572HMaster11519Main25029Main8851DataNode9435RunJar现在让我们尝试列出表格:hbase(main):004:0*listTABLEERROR:org.apache.hadoop.hbase.MasterNotRunningException:Retried7timesHereissomehelp
