草庐IT

hbase-unsecure

全部标签

java - 使用 spark 读取 hbase 表

我有一个包含216列的表“Gazelle”,我想在javaPairRDD中获取它们的一些列。我试图点击此链接:Howtoreadfromhbaseusingspark还有这个:howtofetchallofdatafromhbasetableinspark为了导入我需要的所有jar,我已将此依赖项添加到我的pom文件中:'http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0fr.aid.cimspark-poc1.0-SNAPSHOTorg.apache.sparkspark-core_2.101.1.0org.apache.hbaseh

hadoop - 节点/hbase 不在 ZooKeeper 中

在本地单节点Hadoop(HortonWorks)上运行PredictionIO时出现以下错误:StorageBackendConnectionsVerifyingMetaDataBackendVerifyingModelDataBackendVerifyingEventDataBackendERRORclient.HConnectionManager$HConnectionImplementation-Thenode/hbaseisnotinZooKeeper.Itshouldhavebeenwrittenbythemaster.Checkthevalueconfiguredin'z

apache - Hbase 元数据错误 "tables no found"

我在hbase(hdfs)表中有一些数据,我将其复制到我的本地文件系统。然后在我的第二台机器上,我使用copyFromLocalhadoop命令将数据从本地复制到hdfs。现在,当我在hbase中(在第二台机器上)运行命令“list”时。显示没有表。我将表复制到hdfs中的一个目录中,该目录是hbase的数据目录,因此该表应该出现在hbase中。问题出在哪里?在两台机器上,hbase和hadoop的版本相同。如何将hbase表从一个集群复制到第二个集群? 最佳答案 已经有一些工具可用于管理此类任务(全部记录在此处:http://hb

hadoop - 关于 Hadoop 失败和新的 HBase?

我有两个问题:1.IsNameNodestillsinglepointoffailureinHadoopYARNornewversionofHadoope.g.2.5?Hadoop中的单点故障是什么?2.IsawFacebookisusingHydraBase.IsHydraBasenewversionHbaseorisitnewDBMSsimilartoHbase?HydraBase有Apache版本还是开源的?谢谢! 最佳答案 回答你的第一个问题:单点故障是系统的一部分,如果它发生故障,整个系统将不可用。SPOF可以通过在所有潜

java - `hbase.rootdir` 作业设置中的配置不被认可

我在HDFS上针对hbase表中存在的数据运行mapreduce作业。当我在玩配置时,我观察到了这一点。conf.set("hbase.rootdir","hdfs://"+hdfsRootNodeIp+":"+hdfsRootPort+"/"+hbaseDirectoryName);对于上面的代码,我理解hbaseDirectoryName应该是在HDFS上创建的文件夹。我已经创建了/hbase目录,作业运行良好。虽然我在MR作业设置期间尝试使用一些垃圾名称,但即使这样map-reduce作业也成功完成,没有抛出错误。有人可以为我解释一下这种行为吗? 最佳

hadoop - 为什么我需要在 hdfs 中保留 hbase/lib 文件夹?

我有一个主集群,它在Hbase中有一些数据,我想复制它。我已经创建了一个备份集群并创建了我要复制的表的快照。我正在尝试将快照从源集群导出到目标,但出现了一些错误。我在执行./hbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot-snapshotmySnap-copy-tohdfs://198.58.88.11:9000/hbase作为执行的结果,我得到了SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/home/vagrant/hba

java - HBase 获取扫描器异常 - "This is supposed to be overridden by subclasses"

我正在尝试运行以下代码:Clustercluster=newCluster();cluster.add("localhost",port_number);Clientclient=newClient(cluster);RemoteHTabletable=newRemoteHTable(client,"my_table");Scanscan=newScan();scan.setStartRow(startKey);scan.setStopRow(endKey);scan.addFamily(columnFamily);ResultScannerscanner=table.getScann

azure - Hbase扫描命令到windows中的文本文件

是否可以捕获hbase命令“扫描表”到文本文件。命令是这样的:hbase(main):001:0>scansampletable我尝试使用命令提示符命令hbase(main):001:0>scansampletable>textfile.txt但给出错误“参数数量错误”我也尝试了以下命令:hbase(main):001:0>echo"scan'sampletable'"|hbaseshell|grep"^">registration.txt但是命令中出现异常“无法识别的字符^” 最佳答案 您不能在hbaseshell中执行linux

hadoop - 为什么 Impala 不在 hbase 表上工作?

我使用hive创建了hbase表A的外部表B。我可以成功访问B的数据。然后我按照官方的指导输入ImaplaShell:invalidatemetadataB;然后我在ImpalaShell中查询这个外部表B:select*fromBlimit4;但它输出:ERROR:RuntimeException:couldn'tretrieveHBasetable(mv_p2pusers)info:Enable/Disablefailed下面是一些相关的日志:11:13:58.937AMINFOjni-util.cc:177java.lang.RuntimeException:couldn'tre

java - 升级Apache Hbase hadoop 0.94到1.0.0,覆盖map方法编译文件

在版本org.apache.hadoop.hbase.client.Result类版本0.94中实现了Writable接口(interface)。我们用它来覆盖通用映射器方法,以支持不同的数据源(Hbase就是其中之一)目前我们尝试升级Hbase客户端版本,但遇到以下问题:Hbase1.0.0的org.apache.hadoop.hbase.client.Result类没有实现Writable接口(interface),因此我们在使用接收可写接口(interface)作为参数之一的旧Mapper覆盖方法时遇到问题。有什么想法吗? 最佳答案