草庐IT

hbase-unsecure

全部标签

hadoop - pig + hbase + hadoop2 集成

有没有人在hadoop-2.20+hbase-0.98.0+pig-0.12.0组合的环境下,在hadoop-2.2.0上从pig-0.12.0加载数据到hbase-0.98.0成功的经验没有遇到这个错误:ERROR2998:Unhandledinternalerror.org/apache/hadoop/hbase/filter/WritableByteArrayComparable一行日志跟踪:java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/filter/WritableByteArra我在网上搜索并找到了一些问题和解决

hadoop - 如何在单节点 hadoop 中设置 titan over hbase

我有一个单节点hadoop,并且还在我的ubuntu12.04上安装了hbase。现在我想在hbase上安装titan。我已经设置了hadoop-1.0.3和hbase-0.94.18以及titan/hbase-0.4.2我添加了一个用户mnit。我的/usr/local/文件夹包含hadoop2、hbase2、titan2。首先我使用命令bin/start-all.sh启动我的hadoop,然后我使用命令bin/start-hbase启动hbase.sh。在我做jps之后,我发现了以下内容:mnit@aman:/usr/local$jps9921DataNode11386HRegio

java - 在HBase中反转Scan时,哪个是startKey,哪个是stopKey?

我使用的是HBase0.98,它允许以相反的顺序进行扫描。这是我的代码:scan=newScan(eventTimeKey,nowKey);scan.setCaching(1);//settingthisto1sinceIonlywantthefirstresultscan.setMaxResultSize(1L);scan.addColumn(dataBytes,readingBytes);scan.setReversed(true);try{scanner=getTable().getScanner(scan);result=scanner.next();}finally{if(s

Oracle 到 HBase : Pivot

我正在从Oracle迁移到HBase,在特定情况下需要一些帮助。我使用Sqoop导入到HBase的数据结构是这样的:YEARMONTHAMOUNT2010jan1002010fev2002011jan502011fev100现在我需要以这种结构获取这些数据:YEARJANFEV2010100200201150100有办法吗?怎么办?非常感谢!路易斯 最佳答案 您可以使用查询选项从查询而不是表中导入。然后您可以使用数据透视语法查询数据。类似的东西:sqoopimport\--query'select*from(selectyear,m

java - 在 HBase 单元中保存多个版本

我是HBase的新手。我试图在HBase的一个单元格中保存多个版本,但我只得到最后保存的值。我尝试了以下两个命令来检索多个保存的版本:获取'Dummy1','abc',{COLUMN=>'backward:first',VERSIONS=>12}和扫描'Dummy1',{VERSIONS=>12}两者都返回如下输出:ROWCOLUMN+CELLabccolumn=backward:first,timestamp=1422722312845,value=rrb1行在0.0150秒内输入文件如下:abcxyzkkkabcqweasdabcanfrrbHBase中建表代码如下:importo

hadoop - 如何在 spark newAPIHadoopRDD 中获取 hbase 单元的所有版本?

我知道当您使用GetAPI时,您可以设置MAX_VERSION_COUNT以获取单元格的所有版本。但是我没有找到任何关于如何使用sparknewAPIHadoopRDD的映射操作获取所有版本的cell的文档。我尝试了一个天真的result.getColumnCells()并且它只返回1个结果。如何在spark中设置MAX_VERSION_COUNT? 最佳答案 查看TableInputFormat的源代码后,我发现它从hbase.mapreduce.scan.maxversions读取配置。所以像这样设置它是可行的:valconf=

hadoop - 切换一个包含cloudera hadoop/hdfs/hbase数据的磁盘

我们有一个基于单个服务器上的单个节点的Cloudera5安装。在集群上添加2个额外节点之前,我们想使用新磁盘增加分区的大小。我们安装了以下服务:yarn有1个NodeManager、1个JobHistory和1个ResourceManager具有1个数据节点、1个主节点和1个辅助节点的hdfs具有1个主服务器和1个区域服务器的hbase拥有1个服务器的动物园管理员所有数据目前都安装在一个分区上。将收集的数据数量增加了,因此我们需要使用另一个磁盘来存储所有信息。所有数据都在挂载到文件夹/dfs的分区下工作分区是:df-hhadoop-dfs-分区119G9.8G103G9%/dfsdf-

java - 在 java 中比较 TSV 文件和 Hbase 表中的值

我有一个Hbase表,它有一个唯一的行键和一个列族和一列。我有一个TSV文件,它有大约300多列。此文件中的行键是两列的组合值。所以现在我需要比较表和文件中的行键,如果行键匹配,那么我需要插入表列值作为相应行键的TSV文件中的最后一列。我写了下面的代码,但是它总是执行else部分。packagemapReduce;importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.FileReader;importjava.io.FileWriter;importjava.util.ArrayList;impo

hadoop - 色调 HBase API 错误 : None

当我在hue中使用TheWebUIforHBase时,我只收到一条错误消息:APIError:None,并且日志显示:[30/Jun/201521:16:30+0000]accessINFO114.112.124.241admin-"GET/hbase/HTTP/1.0"[30/Jun/201521:16:31+0000]accessINFO114.112.124.241admin-"POST/hbase/api/getClustersHTTP/1.0"[30/Jun/201521:16:31+0000]accessINFO114.112.124.241admin-"GET/debug

hadoop - 将 hbase 表的快照从一个命名空间克隆到另一个命名空间

我使用的是Hbase版本0.98。当我尝试使用快照克隆命名空间“sample1”中存在的hbase表时,它失败了。hbase(main):003:0>snapshot'sample1:deliverytable_m1''deliverytable_m1-Snapshot'ERROR:wrongnumberofarguments(1for2)Hereissomehelpforthiscommand:Takeasnapshotofspecifiedtable.Examples:hbase>snapshot'sourceTable','snapshotName'hbase>snapshot'