草庐IT

HBASE_CLASSPATH

全部标签

hadoop - 奇怪的 DNS 服务器导致 Hadoop 和 HBase 出现故障

我的网络有一些奇怪的(据我所知)DNS服务器导致Hadoop或HBase出现故障。它将我的主机名解析为我的机器不知道的某个地址(即没有这样的接口(interface))。如果我在/etc/hosts中有以下条目,Hadoop就可以工作:127.0.0.1localhost127.0.1.1myhostname如果条目“127.0.1.1myhostname”不存在,上传文件到HDFS失败并提示它只能将文件复制到0个数据节点而不是1个。但在这种情况下,HBase不起作用:从HBaseshell创建表会导致NotAllMetaRegionsOnlineException(实际上是由HMas

hadoop - HBase 中的检查点

您好,我是HBase的新手,我无法理解HBase中检查点的概念。我想知道HBase中有哪些检查点,我们如何配置或使用它们?谢谢 最佳答案 根据评论中的讨论,我认为您想了解快照。让我在这里澄清一下,检查点只是备份而快照只是相同的拼写错误场景。请阅读链接中提供的附件,以便您对快照有一个很好的了解。Snapshotpdf's 关于hadoop-HBase中的检查点,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.c

hadoop - Hbase MapReduce程序中如何自动生成RowId

我需要将数据集文件加载到hbase表中。我在google上搜索了一些示例,并通过这些示例尝试读取文件并将其加载到Hbase中。但只有第一行正在读取。只有一行数据正在读取,我需要读取所有数据,我不知道我哪里错了我有这种格式的文件yearclassdaysmm1964920.58.819641013.64.219641111.84.71964127.70.1196517.30.8196526.50.11965310.81.41965413.23.51965516.17.01965619.09.21965718.710.71965819.910.91965916.68.2请任何人纠正我,我错

hadoop - HBase 与 MapReduce

我在hadoop集群上设置了一个HBase集群,其中所有节点都禁用了IPv6。一切正常;我能够运行Java客户端以使用标准Put、Scan、Get访问HBase,...我写了一个map-reduce程序来访问HBase,但是我得到了以下错误:Exceptioninthread"main"java.lang.NullPointerExceptionatorg.apache.hadoop.net.DNS.reverseDns(DNS.java:72)atorg.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(Tab

hadoop - hbase-0.94.0 启动错误

今天在启动hbase的时候遇到了一个问题,报错如下:1.inhbase-localhost-zookeeper-chaobin.log2013-01-0216:05:26,406INFOorg.apache.zookeeper.server.NIOServerCnxnFactory:Acceptedsocketconnectionfrom/127.0.0.1:31702013-01-0216:05:26,406INFOorg.apache.zookeeper.server.ZooKeeperServer:Refusingsessionrequestforclient/127.0.0.1

hadoop - 使用 Hadoop 和 HBase 的增量 MapReduce

我使用CouchDB已经有一段时间了,我正在考虑在HBase/Hadoop中做一个小的学术项目。我阅读了一些关于它们的Material,但找不到一个问题的好答案:在Hadoop/HBase和CouchDB中,都使用MapReduce作为它们的主要查询方法。然而,有一个显着的区别:CouchDB以增量方式执行此操作,使用View,为添加到数据库中的每个新数据建立索引,而Hadoop(从我看到的所有示例来看)通常用于对整个数据集执行完整查询.我缺少的是使用HadoopMapReduce来构建并主要维护索引的能力,例如CouchDB的View。我看到了一些有关如何使用MapReduce创建初

hadoop - Hbase 区域服务器无法与 HMaster 通信

我无法在分布式模式下设置hbase。当我在一台机器上设置它时它工作正常(独立模式)。我的Zookeeper、hmaster和区域服务器正常启动。但是当我去hbaseshell并寻找状态时。它显示了0个区域服务器。我附上了我的区域服务器日志。加上我的主机(namenode)和从机(datanode)的主机文件。我已经尝试了stackoverflow上提供的所有用于更改主机文件的P&C,但对我没有用。2013-06-2415:03:45,844INFOorg.apache.zookeeper.ClientCnxn:Openingsocketconnectiontoservernaresh-

hadoop - 在一个简单的 Hbase 示例中获取 "package org.apache.hadoop.conf does not exist"

我收到以下错误TestHBase.java:6:error:packageorg.apache.hadoop.confdoesnotexist在ubuntu12.04中尝试以下操作时:hduser@ubuntu:~$javac-classpathhbase-0.94.8.jar:hadoop-core-1.1.2.jarTestHBase.java我试过以下方法:将hadoop-core-1.1.2.jar重命名为hbase自带的hadoop-core-1.0.4.jar后复制到hbase/lib中复制hadoop/lib/commons-*.jar库到hbase/libhduser@

Hadoop Mapreduce tasktrackers 不断忽略 HADOOP_CLASSPATH。 Zookeeper 尝试连接到本地主机而不是集群地址

我有一个包含5个数据节点的Hadoop集群(ClouderaCDH4.2)。我正在尝试运行创建HBaseConfiguration对象的MapReduce作业。tasktracker尝试失败,因为它们试图连接到localhost:2181而不是实际zookeeper安装的地址。我知道这是因为没有为tasktracker提供包含hbase配置的正确类路径。但是,如果我这样运行作业:HADOOP_CLASSPATH=`/usr/bin/hbaseclasspath`hadoopjarmyjar.jar文档表明这应该可以解决问题。hbaseclasspath中的第一个条目是/usr/lib/

hadoop - HBase聚合

我在对HBase中的特定列进行聚合时遇到了一些问题。这是我试过的代码片段:Configurationconfig=HBaseConfiguration.create();AggregationClientaggregationClient=newAggregationClient(config);Scanscan=newScan();scan.addColumn(Bytes.toBytes("drs"),Bytes.toBytes("count"));ColumnInterpreterci=newLongColumnInterpreter();Longsum=aggregationCl