草庐IT

hadoop - HBase 与 Hadoop 集成 - 同步支持

我对HBase或Hadoop比较陌生,这听起来可能很天真。然而..我在Hbase与现有hadoop集群的集成方面遇到了问题。为了学习,我配置了一个2节点的Hadoop1.1.1集群。让我们说主人和奴隶。我什至可以毫无问题地运行mapreduce示例。在Master上---1.Namenode2.SecondaryNamenode3.JobTracker+4.Datanode5.TasktrackerOnSalve---1.Datanode2.TaskTracker现在,我想在这个hadoop集群上运行HBase0.90.6。问题是这个版本的HBase与Hadoop-code-appen

hadoop - 如何删除 hbase 表中一个家庭的所有数据?

我们有一个包含多个家庭的HBase表,我们需要删除某个家庭的所有数据,但其余部分保持不变。我们只需要删除数据,并将家庭留在那里,因为我们将用该家庭的新数据重新填充表。最简单的方法似乎是从文件系统中删除与该家族关联的文件(位于../{table_name}/{some_hash}/{family_name}/下)。这样做有什么我们应该注意的副作用吗?如果有,是否有更安全、更简单的方法来做到这一点? 最佳答案 更安全的方法是deleteColumn并完全删除该系列,然后使用addColumn重新添加它.请注意,您需要在进行这些更改之前禁

java - 如何在HBase中设置In-Memory

我已经在我的HDFS0.20.0上启动并运行了HBase0.94.0。我正在做作业,我必须将我的列族放入In-Memory我有两个列族No和Subject。将它们设置为In-Memory之后newHColumnDescriptor("No").setInMemory(true);newHColumnDescriptor("Subject").setInMemory(true);当我检查我的localhost:60010时,表的详细信息仍然显示IN_MEMORY=>'false'为什么会这样?我需要的不仅仅是设置.setInMemory(true) 最佳答案

hadoop - 在 HBase 上运行 MapReduce 会出现 Zookeeper 错误

我正在用Hadoop和HBase做一个测试项目。目前集群有2个Ubuntu虚拟机托管在Windows机器上。我能够使用以下HBaseJavaAPI配置远程执行PUT、QUERY和DELETE操作(在我的主机中)config=HBaseConfiguration.create();config.set("hbase.zookeeper.quorum","192.168.56.90");config.set("hbase.zookeeper.property.clientPort","2222");当我尝试使用与上述相同的配置在Windows上运行HBaseMapReduce作业时,出现以

hadoop - HBase 批量放置故障排除

是否可以对HBase批量放置进行故障排除?我一次使用HBase批量放置5000条记录,我想在放置失败时找出哪一行或哪几行导致问题并记录下来。 最佳答案 方法HTable.batch(Listactions)接收一个Puts列表并返回一个与actions列表大小相同的数组(你给函数的puts列表)。如果actions(i)失败,则result[i]将为空。请注意,当batch()中的失败是由于最大尝试写入次数时,您需要捕获RetriesExhaustedWithDetailsException,并调用getExceptions(),以

java - Hbase依赖问题: NoClassDefFoundError RegionCoprocessorHost

我正在尝试解决以下错误:13/05/0519:49:04INFOhandler.OpenRegionHandler:Openingofregion{NAME=>'-ROOT-,,0',STARTKEY=>'',ENDKEY=>'',ENCODED=>70236052,}failed,markingasFAILED_OPENinZK13/05/0519:49:04INFOregionserver.HRegionServer:Receivedrequesttoopenregion:-ROOT-,,0.7023605213/05/0519:49:04INFOregionserver.HReg

hadoop - 配置单元 hbase 集成时间戳

我想使用Hive(hivehbase集成)将表存储到HBase中我的表包含一个类型为TIMESTAMP的字段(如DATE)我做了一些研究,发现HBASE不支持TIMESTAMP,我该怎么办?Causedby:org.apache.hadoop.hive.ql.metadata.HiveException:Errorevaluatingdatatorg.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:80)atorg.apache.hadoop.hive.ql.exec.Operator.pr

java - Hbase MasterNotRunningException 尽管 Hmaster、regionserver 和 Zookeeper 已启动

我已经启动了hbase,所有守护进程都在运行。$jps8482HQuorumPeer25105RemoteMavenServer9133SecondaryNameNode11883HRegionServer13793Jps8545NameNode8572HMaster11519Main25029Main8851DataNode9435RunJar现在让我们尝试列出表格:hbase(main):004:0*listTABLEERROR:org.apache.hadoop.hbase.MasterNotRunningException:Retried7timesHereissomehelp

hadoop - 每个 Hadoop 服务器应该有多少个 HBase 服务器?

我有一个系统可以提供较小的图像文件,这些文件存储在HBase表中,该表使用hadoop作为文件系统。我目前有2个hadoop实例和1个HBase实例,但我的问题是这里的比例应该是多少?我应该为每个hbase服务器配备1个hadoop还是真的很重要? 最佳答案 答案视情况而定。这取决于您拥有多少数据、regionserver的cpu利用率以及各种其他因素。您需要做一些概念证明来了解您的hadoop和hbase集群的大小。使用hadoop和hbase的多样性取决于用例。事实上,我最近看到一个hadoop和hbase集群完全解耦的设置。在

hadoop - 一起安装 HBase + Hadoop 与分别安装 HBase 和 Hadoop 有什么优缺点?

我的意思是,2个选项:1.在Hadoop集群上安装HBase,也是做离线计算,也就是说只有1个hadoop集群。2.安装一个HadoopClusterforOfflineComputing,然后再安装一个HadoopCluster,只供HBase使用其HDFS。所以2个选项是:一个是集成集群,另一个实际上是2个集群。这两个选项的优缺点是什么? 最佳答案 选项1:集成集群。优点:读取或写入HBase的MapReduce作为数据局部性会更高效。缺点:HBase区域服务器会降低机器(Datanode和TaskTracker)的性能,因为它