草庐IT

HBASE_CLASSPATH

全部标签

linux - YCSB 不适用于 HBase

我在我的Linux服务器上使用hadoop-2.7.1、hbase-1.0.1.1和zookeeper-3.4.6来比较HBase的性能。我的Hadoop、HBase、ZooKeeper在以下过程中运行良好:19639数据节点19893次要节点20116资源管理器20530QuorumPeerMain20287节点管理器23767客户端20838HMaster21015HRegionServer24620日元19446名称节点此外,YCSB也工作正常。我已经使用BasicDb命令“./bin/ycsbloadbasic-Pworkloads/workloada”进行了检查。但是,当我尝

hadoop - 从 MapReduce 同时批量加载到多个 HBase 表

类似于MultiTableOutputFormat,您可以使用put写入多个HBase表。是否有一种内置方法可以生成多个HFile而无需多次循环输入? 最佳答案 This是最接近您的要求。他们也给出了代码来处理多种输出格式。再来一个here.希望对您有所帮助 关于hadoop-从MapReduce同时批量加载到多个HBase表,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/317

HBase 例行灾备方案:快照备份与还原演练

博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧二维码进入京东手机购书页面。该方案是为某用户定制的HBase灾备方案,方案本身具有很好的适用性,可以复用于常规HBase灾备场景。用户对HBase的灾备工作非常重视,每周会对HBase进行一次全量备份,将快照上传至S3保存,同时,在消息队列和其他数据库中保存着两周以内的增量数据,当HBase宕机时,会先还原快照

hadoop - 我尝试启动 HBase

我尝试运行start-hbase.sh。但是……dream@dream-VirtualBox:/usr/local/hbase/bin$cat~/.bashrc|tail-n2exportPATH=$PATH:/usr/local/hadoop/sbin/:/usr/local/hadoop/bin/:/usr/local/hbase/bin/:/usr/local/mahout/bin/exportJAVA_HOME=/usr/lib/jvm/java-7-oracledream@dream-VirtualBox:/usr/local/hbase/bin$source~/.bashr

hadoop - OpenTSDB 与 kerberized HBase 集成

我想在OpenTSDB上做一些POC。我已经按照安装说明安装了OpenTSDB,但启动起来很困难。我正在使用启用了Kerberos的HDP环境,我正在将OpenTSDB与KerberizedHBase集成,但面临以下异常。如果有人将OpenTSDB与KerberosHBase集成,请指导..异常(exception):2017-06-0714:07:14,254INFO[main-SendThread(ZKIP1:2181)]ClientCnxn:OpeningsocketconnectiontoserverZKIP1/192.xxx.xxx.xxx:2181.Willnotattem

hadoop - 无法使用 phoenix jdbc 驱动程序连接到 hbase(无法获取位置错误)

我正在使用phoenix(4.10.0-Hbase-1.2)开发hbase(1.2.6)。我收到此错误:org.apache.hadoop.hbase.client.RetriesExhaustedException:Can'tgetthelocationserror下面是我尝试使用phoenix连接到hbase的代码:Connectionconnection=DriverManager.getConnection("jdbc:phoenix:localhost");下面是我的hdfs-site.xml文件,我做了一些更改:我需要做什么改变?请建议.. 最佳

security - 是否有与 Accumulo 的授权类等效的 HBase 1.2?

在Accumulo1.6中,有一个org.apache.accumulo.core.security.Authorizations类(class)。它基本上包装了一组授权字符串。Authorizations对象可以传递给如下方法:org.apache.accumulo.core.client.Connector.createScanner(字符串,授权)org.apache.accumulo.core.client.Connector.createBatchDeleter(String,Authorizations,int,BatchWriterConfig)HBase1.2有类似的概

apache - Hbase ipc.RpcServer responseTooSlow 问题和区域服务器关闭

我已经使用Hadoop2.7.4配置了Hbase1.2.6。我已经在上面配置了Nutch。以下是两个Hbase站点属性hbase.rpc.timeout1200000Changedto20minuteshbase.client.scanner.timeout.period1200000Changedto10minutes当我开始工作时。警告开始一段时间后,区域服务器关闭。这就是为什么Job也失败了。2017-12-2217:39:25,660WARN[B.defaultRpcServer.handler=18,queue=0,port=16020]ipc.RpcServer:(resp

大数据中的HBase的选择题

一.单选题(共9题,49.5分)(单选题)下列关于BigTable的描述,哪个是错误的?A.爬虫持续不断地抓取新页面,这些页面每隔一段时间地存储到BigTable里B.BigTable是一个分布式存储系统C.BigTable起初用于解决典型的互联网搜索问题D.网络搜索应用查询建立好的索引,从BigTable得到网页正确答案:A:爬虫持续不断地抓取新页面,这些页面每隔一段时间地存储到BigTable里;(单选题)下列选项中,关于HBase和BigTable的底层技术对应关系,哪个是错误的?A.GFS与HDFS相对应B.GFS与Zookeeper相对应C.MapReduce与HadoopMapRe

hadoop - java.io.IOException :java. lang.ClassCastException : org. apache.hadoop.hbase.client.Result 无法转换为 org.apache.hadoop.io.Writable

尝试了一个从hive处理hbase中的表的示例。CREATEEXTERNALTABLE命令成功,但是select语句给出类转换异常环境:hive0.12.0,hbase0.96.1,hadoop2.2,Virtualbox上的Ubuntu12.04hive>SHOWTABLES;OKhbatablese_myhiveTimetaken:0.309seconds,Fetched:1row(s)hive>SELECT*FROMhbatablese_myhive;OK**异常失败java.io.IOException:java.lang.ClassCastException:org.apac