草庐IT

BigSQL-HBase

全部标签

hadoop - 用于故障转移的 Apache HBase 复制

ApacheHBase:Replication:Slave/Replication集群是否也用于故障转移处理而不是单独的数据恢复? 最佳答案 是的。HBaseReplication可以用作灾难恢复解决方案,并有助于提供更高的可用性或故障转移。我假设您已经完成了这个page其中谈到了HBase复制。 关于hadoop-用于故障转移的ApacheHBase复制,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

hadoop - HBase 和 HDFS 数据分隔符?

我将HBase数据导出到HDFS。我想将Sqoop导出HDFS到MySQL。但是在使用Sqoop导出时,需要我提供HDFS数据是如何分隔的。如何检查HBase表或HDFS数据中的分隔符?编辑1:我将HBase数据导出到HDFS使用bin/hadoopjar/path/to/hbase-0.20.3.jarexportyour_table/export/your_table 最佳答案 就HBase而言,不存在任何分隔符的问题。您的数据存储在HBase表的列中。要知道HDFS文件的分隔符,您可以:使用bin/hadoopfs-cat/p

java - Hbase 中的行数,其中一列具有特定值

我正在使用hbase将我的数据存储在hdfs中,我的表中有一个包含user_details的列族,我在其中存储用户值,例如-userdetails->userid->"ui011"userdetails->userName->"John"userdetails->emailid->"john@xyz.com"现在可以通过java和hbaseshell计算在用户名和电子邮件ID中具有特定值的行。我是hbase的新手,我们将不胜感激。 最佳答案 看看Hbase协处理器AggregationClient。AggregationClient

php - 无法启动 Hbase Thrift 服务器

我在运行Ubuntu12.04的ubuntu系统中以伪分布式模式安装了Hadoop1.2.1和Hbase0.94.8。一切正常,所有守护进程都在运行。为了使用php访问hbase,我下载并安装了thrift0.9.1。$thrift-versionThriftversion0.9.1但是当我尝试使用命令启动thrift服务器时$/usr/lib/hbase/hbase-0.94.8/bin/hbasethriftstartthrift服务器开始启动。但在某个时刻终端挂起。终端的最后几行是14/02/1915:30:48INFOmortbay.log:Loggingtoorg.slf4j

json - 使用 Hive 向 Hbase 中插入数据(JSON 文件)

我已经使用hive在hbase中创建了一个表:hive>CREATETABLEhbase_table_emp(idint,namestring,rolestring)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,cf1:name,cf1:role")TBLPROPERTIES("hbase.table.name"="emp");并创建了另一个表来加载数据:hive>createtabletestemp(idint,na

hadoop - HBase mapReduce TableOutputFormat如何使用Flush和WAL

因此,当从使用TableOutputFormat的MapReduce作业写入HBase时,它​​多久写入一次HBase。我不认为它会为每一行执行一个put命令。在MapReduce中使用时如何控制AutoFlush和WriteAheadLog(WAL)? 最佳答案 TableOutputFormat禁用AutoFlush并使用在hbase.client.write.buffer指定的写入缓冲区(默认为2MB),一旦缓冲区已满,它会自动刷新到HBase。您可以通过将属性添加到作业配置来更改它:config.set("hbase.cli

hadoop - HBase 未连接到 ZooKeeper

我正在努力让我的HBaseshell运行。它在主题行中抛出上述异常。我检查过hbase-site.xml与hadoop完美匹配。请帮忙。我挣扎了2天,有一个项目到期。我附上hadoop和hbase的两个xml文件。hbase-site.xmlhbase.rootdirhdfs://localhost:54310/hbasehbase.zookeeper.property.dataDir/home/hduser/zookeeperhbase.zookeeper.property.clientPort2222PropertyfromZooKeeper'sconfigzoo.cfg.Thep

java - 为什么HBase RowKey、ColumnKey和value是二进制值(字节),而不是String?

HBase值由4个键索引:TableName、RowKey,列键,时间戳。地点:TableName是一个字符串RowKey和ColumnKey是二进制值(Java类型byte[])Timestamp是一个64位整数(Java类型long)value是一个未解释的字节数组(Java™类型byte[])二进制数据以Base64编码以通过网络传输。为什么键和值使用字节而不是字符串存储? 最佳答案 因为您可能需要在限定符和值中存储二进制数据。例如,我们有这样的前缀限定符:'prefix[binaryint64id]'并将序列化的protob

apache - 有一个不可序列化的结果 : org. apache.hadoop.hbase.client.Result

privatestaticJavaPairRDDgetCompanyDataRDD(JavaSparkContextsc)throwsIOException{returnsc.newAPIHadoopRDD(companyDAO.getCompnayDataConfiguration(),TableInputFormat.class,ImmutableBytesWritable.class,Result.class).mapToPair(newPairFunction,Integer,Result>(){publicTuple2call(Tuple2t)throwsException{

hadoop - hadoop 上的 Hbase 未在分布式模式下连接

您好,我正在尝试在HADOOP(hadoop-2.7.0)上设置HBASE(hbase-0.98.12-hadoop2)Hadoop在localhost:560070上运行,运行良好。我的hbase-site.xml如下所示hbase.rootdirhdfs://localhost:9000/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumlocalhostdfs.replication1-->hbase.zookeeper.property.clientPort2181当我启动./start-hbase.sh时,我在日志