草庐IT

HBASE_CLASSPATH

全部标签

java - 从同一个进程访问两个安全的 (Kerberos) Hadoop/HBase 集群

我有一个Java工具,可以将几行数据从一个HBase集群复制到另一个集群(称为ClusterA和ClusterB)。当两个集群都不安全时,这工作正常:ConfigurationconfigA=Utilities.makeHBaseConfig("configA.xml");ConfigurationconfigB=Utilities.makeHBaseConfig("configB.xml");HTabletableA=newHTable(configA,input_table);HTabletableB=newHTable(configB,output_table);tableA.g

hadoop - Hbase Scan 返回超出范围的数据

我正在使用HBaseshell在HBase扫描中使用startRowKey和StopRowKey进行扫描,但我收到的输出超出了传递的范围。请引用Hbase查询-importorg.apache.hadoop.hbase.filter.CompareFilterimportorg.apache.hadoop.hbase.filter.SingleColumnValueFilterimportorg.apache.hadoop.hbase.filter.SubstringComparatorimportorg.apache.hadoop.hbase.util.Bytesscan'Table

hadoop - MapReduce 作业无法与启用 Kerberos 的 CDH 集群上的 Hbase 对话

我正在编写一个MapReduce应用程序来访问启用了Kerberos的CDH集群上的Hbase数据。我的CDH版本是5.9.0,运行在3个节点上,Kerberos版本是1.10.1。现在,我面临一个问题,希望有人能提供帮助。我的代码:conf.set("hadoop.security.authentication","Kerberos");UserGroupInformation.setConfiguration(conf);UserGroupInformation.loginUserFromKeytab("jj@example.com","jj.keytab");HTabletabl

hadoop - 如何将日期添加到我的 hbase 快照

我试图每天备份我的hbase表,如何在我的hbase快照中包含日期和时间?我想要这种格式的快照-'tablename-dd-mm-yyhh:mm:ss'。如果有人有shell脚本,请分享 最佳答案 用它来创建你需要的后缀hadoop@my-hadoop:~$suffix=$(date)#createwhateverformatyouneedhadoop@my-hadoop:~$echo"suffixis${suffix}"使用它来创建快照hadoop@my-hadoop:~$echo"snapshot'myTable','myTab

hadoop - 无法从配置单元创建 hbase 表

这是我正在运行的查询,但出现异常。我将所有jar保存在hive/lib文件夹中,但我仍然面临这个问题。谁能给我建议如何解决这个问题。提前致谢。hive>CREATETABLEhbase_shipper(s_idint,s_namestring)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,cf1:val")TBLPROPERTIES("hbase.table.name"="hive_shipper");FAILED:E

python - 从 Python 和 happybase/Thrift 连接到 Hbase

我已经安装了ClouderaManagerExpress5.9.0安装了HBase,Thrift服务器在VirtualBox虚拟机中的CentOS7.3上的端口9090上运行。请帮助找出我无法通过happybase成功连接的原因,或者帮助确定下一步要执行的操作。我是一名经验丰富的Java程序员,正在学习Python。我有使用本地接口(interface)从Java使用Hbase的经验,尽管不是在这个特定环境中。我已验证我可以使用hbaseshell创建表、插入数据等。我已验证9090(thrift)正在监听并接受连接。我想我已经验证Thrift服务器正在使用与happybase连接参数

hadoop - Spark 和 HBase 版本兼容性

我正在尝试集成Spark和Hbase1.2.4。我目前正在使用hadoop2.7.3。谁能告诉我哪个版本的Spark与HBase1.2.4兼容? 最佳答案 我正在使用spark1.6版和hbase1.2版。所以我认为spark版本1.6或1.6.x肯定可以与hbase1.2.4一起使用。 关于hadoop-Spark和HBase版本兼容性,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questio

hadoop - 将制表符分隔格式的 txt 文件加载到 Hbase 中

我正在尝试将制表符分隔的文件加载到hbase中。我收到屏幕截图中提到的错误,请指教。文件内容:21/1/160:291/1/160:3921/1/160:191/1/160:3921/1/160:191/1/160:3921/1/160:221/1/160:3821/1/160:241/1/160:3921/1/160:321/1/160:39查询:hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.columns=HBASE_ROW_KEY,id,date:c1,date:c2sample1hdfs://localh

hadoop - 如何在 HBase 集群设置中添加辅助 NameNode?

我有一个包含3个节点的Hbase集群设置:一个NameNode和2个DataNode。NameNode是一个4GB内存和20GB硬盘的服务器,而每个DataNode有8GB内存和100GB硬盘。我正在使用ApacheHadoop版本:2.7.2和ApacheHbase版本:1.2.4我看到有人提到了辅助NameNode。我的问题是,在我的设置中没有辅助NameNode有什么影响?是否可以使用其中一个DataNode作为辅助NameNode?如果可能,我该怎么做?(我只在/etc/hadoop/masters文件中插入了NameNode。) 最佳答案

尝试将 Spark RDD 存储到 HBase 时出现 java.io.FileNotFoundException

我正在尝试将一些数据从HDFS加载到HBase,如下所示:Stringdir="/tmp/eloued";Configurationconfig=HBaseConfiguration.create();config.set(SequenceFileInputFormat.INPUT_DIR,dir);//serializationconfig.setStrings("io.serializations",config.get("io.serializations"),MutationSerialization.class.getName(),ResultSerialization.cl