草庐IT

HBASE_CLASSPATH

全部标签

hadoop - 如何在 spark newAPIHadoopRDD 中获取 hbase 单元的所有版本?

我知道当您使用GetAPI时,您可以设置MAX_VERSION_COUNT以获取单元格的所有版本。但是我没有找到任何关于如何使用sparknewAPIHadoopRDD的映射操作获取所有版本的cell的文档。我尝试了一个天真的result.getColumnCells()并且它只返回1个结果。如何在spark中设置MAX_VERSION_COUNT? 最佳答案 查看TableInputFormat的源代码后,我发现它从hbase.mapreduce.scan.maxversions读取配置。所以像这样设置它是可行的:valconf=

hadoop - 切换一个包含cloudera hadoop/hdfs/hbase数据的磁盘

我们有一个基于单个服务器上的单个节点的Cloudera5安装。在集群上添加2个额外节点之前,我们想使用新磁盘增加分区的大小。我们安装了以下服务:yarn有1个NodeManager、1个JobHistory和1个ResourceManager具有1个数据节点、1个主节点和1个辅助节点的hdfs具有1个主服务器和1个区域服务器的hbase拥有1个服务器的动物园管理员所有数据目前都安装在一个分区上。将收集的数据数量增加了,因此我们需要使用另一个磁盘来存储所有信息。所有数据都在挂载到文件夹/dfs的分区下工作分区是:df-hhadoop-dfs-分区119G9.8G103G9%/dfsdf-

java - 在 java 中比较 TSV 文件和 Hbase 表中的值

我有一个Hbase表,它有一个唯一的行键和一个列族和一列。我有一个TSV文件,它有大约300多列。此文件中的行键是两列的组合值。所以现在我需要比较表和文件中的行键,如果行键匹配,那么我需要插入表列值作为相应行键的TSV文件中的最后一列。我写了下面的代码,但是它总是执行else部分。packagemapReduce;importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.FileReader;importjava.io.FileWriter;importjava.util.ArrayList;impo

hadoop - 色调 HBase API 错误 : None

当我在hue中使用TheWebUIforHBase时,我只收到一条错误消息:APIError:None,并且日志显示:[30/Jun/201521:16:30+0000]accessINFO114.112.124.241admin-"GET/hbase/HTTP/1.0"[30/Jun/201521:16:31+0000]accessINFO114.112.124.241admin-"POST/hbase/api/getClustersHTTP/1.0"[30/Jun/201521:16:31+0000]accessINFO114.112.124.241admin-"GET/debug

hadoop - 将 hbase 表的快照从一个命名空间克隆到另一个命名空间

我使用的是Hbase版本0.98。当我尝试使用快照克隆命名空间“sample1”中存在的hbase表时,它失败了。hbase(main):003:0>snapshot'sample1:deliverytable_m1''deliverytable_m1-Snapshot'ERROR:wrongnumberofarguments(1for2)Hereissomehelpforthiscommand:Takeasnapshotofspecifiedtable.Examples:hbase>snapshot'sourceTable','snapshotName'hbase>snapshot'

hadoop - Hive-Hbase 集成问题 -org/apache/hadoop/hive/hbase/HiveHBaseTableInputFormat

我正在尝试将Hive与Hbase集成。我正在使用关键VMaddjar/usr/lib/gphd/hive/lib/hive-hbase-handler-0.12.0-gphd-3.0.0.0.jaraddjar/usr/lib/gphd/hive/lib/guava-11.0.2.jar;addjar/usr/lib/gphd/hbase/lib/hbase-common.jar;addjar/usr/lib/gphd/zookeeper/zookeeper.jar;addjar/usr/lib/gphd/hbase/lib/protobuf-java-2.5.0.jar;我的配置单元

security - 连接到安全的 hbase 集群时如何启用 kerberos 身份验证

有没有人在使用phoenix连接到安全hbase集群时看到以下消息:15/08/2523:04:49DEBUGipc.AbstractRpcClient:UseSIMPLEauthenticationforserviceMasterService,sasl=false15/08/2523:04:49DEBUGipc.AbstractRpcClient:Connectingtonnn-hdp-sa-********/10.99.40.213:6000015/08/2523:04:49DEBUGipc.AbstractRpcClient:UseSIMPLEauthenticationfor

hadoop - ClassCastException : org. apache.hadoop.io.LongWritable 无法转换为 org.apache.hadoop.hbase.io.ImmutableBytesWritable

我已经将一个表从Hbase导出到一个几乎类似于org.apache.hadoop.mapreduce.lib.output.TextOutputFormat的文件,为了导入导出的文本格式文件,我调整了来自开源的导入代码以支持导入基于文本的文件而不是SequenceFile。job.setInputFormatClass(TextInputFormat.class);在运行Import类时出现以下异常。java.lang.ClassCastException:org.apache.hadoop.io.LongWritablecannotbecasttoorg.apache.hadoop.

java - Hbase 示例,线程 "main"java.lang.NoClassDefFoundError 中的异常

我们正在尝试在hortonworks沙箱(2.3)上执行基本的Hbase示例。hadoopjar/usr/hdp/2.3.0.0-2557/hbase/lib/hbase-examples.jarorg.apache.hadoop.hbase.mapreduce.IndexBuilder执行此程序后我们遇到异常。Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/util/Bytesatorg.apache.hadoop.hbase.mapreduce.IndexBuilder.(I

hadoop - node/hbase-unsecure 不在 ZooKeeper 中。应该是大师写的

我打算在本地尝试hbase,我确实启动了一个zk服务器,当我尝试创建一个这样的表时:create'table','col'错误:ERROR[main]client.ConnectionManager$HConnectionImplementation:Thenode/hbase-unsecureisnotinZooKeeper.Itshouldhavebeenwrittenbythemaster.Checkthevalueconfiguredin'zookeeper.znode.parent'.Therecouldbeamismatchwiththeoneconfiguredinthe