草庐IT

java - 无法使用 Java 客户端 API 扫描 Hbase 中的表

我正在尝试扫描Hbase中的表并检索其中的所有记录。这是我用来扫描表格的方法。我使用Maven构建项目。publicvoidgetAllRecord(StringtableName){try{HTabletable=newHTable(configuration,tableName);Scans=newScan();ResultScannerss=table.getScanner(s);for(Resultr:ss){for(KeyValuekv:r.raw()){System.out.print(newString(kv.getRow())+"");System.out.print(

hadoop - Lily Hbase Indexers 无故退出

我正在运行Cloudera/Solr集群,并尝试使用hbase-solr(Lily)索引器将Hbase的NRT索引编入Solr。批处理模式索引工作正常。但是,在我开始以恒定流加载数据后,Lily索引器开始一个接一个地死掉。他们不会打印出向我跳出的特定错误消息,但都以相同的方式结束:2014-09-1016:04:56,770INFOorg.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper:Processidentifier=ip-172-31-1-204.ap-southeast-2.compute.internal,44013,14

java - 使用 Hadoop YARN 安装 HBase

我正在尝试在ubuntu上安装HBasev0.98.6。我已经在操作系统上运行了HadoopYARN。我应该停止现有的Hadoop进程并完全依赖HBase还是使用现有的YARN设置配置HBase?如果需要,我可以分享更多信息。我试图先在伪分布式上运行HBase,然后在分布式模式下运行。需要说明的是——我问的是在安装HBase之前是否需要运行HadoopYARN(以分布式方式——而不是在一台计算机上)。如果没有,并且我在那些计算机上仍然有HadoopYARN,它会导致HBase在这些服务器上运行时出现任何问题吗? 最佳答案 这个问题有

java - 远程访问hbase

我正在使用hbasejavaapi远程连接到hbase,但是当我执行代码时,我得到了MasterNotRunningException。当我调试代码时,我了解到zookeeper将hmaster的地址返回为localhost,因此客户端试图在本地搜索hmaster。当我将/etc/hosts文件更改为:localhost然后一切正常。但是,我认为这不是正确的方法。我想我必须更改zookeeper配置中某处的地址,但我没有得到它。 最佳答案 Hbase会自动注册到ZK,因此您不必在那里进行配置。使用主IP地址而不是“本地主机”以避免进

hadoop - 如何提高hbase中的扫描性能?

我正在使用hbase96进行分析。我通过定义startRow和endRow对行键范围应用单列值过滤器来从hbase获取数据。单个请求扫描1500000条记录需要5-6分钟,不处理并发请求。如何提高hbase扫描的性能?我们在亚马逊上有3个数据节点和2个主节点。下面是我的代码Scans=newScan();s.setCaching(10000);s.setStartRow(Bytes.toBytes(start_date));s.setStopRow(Bytes.toBytes(end_date));FilterListfilters=newFilterList(FilterList.O

python - 带有 HBase 的 flask

我正在为一个相当大的数据集设计一个API服务。数据目前存储在HDFS中,我们(BA)通常从Hive中查询它。最后,我们有几个表,我们想以API的形式暴露给客户,这些API将来也可能被用来备份前端应用程序。我是一名Python程序员,之前用过Flask。但是,构建可良好扩展的API服务的正确技术组合是什么?我听说有人提到“HBase+SolrCloud”将是解决方案。任何建议都会非常有帮助,如果认为这与编程无关,我会删除这篇文章。(我也对PaaS、AWS等IaaS、googlecloud持开放态度,如果他们实际上已经有了一个不错的包的话。) 最佳答案

hadoop - 根据时间戳从 Hive 访问 HBase 表数据

我通过提及默认版本10创建了一个HBasecreate'tablename',{NAME=>'cf',VERSIONS=>10}并插入两行(row1和row2)put'tablename','row1','cf:id','row1id'put'tablename','row1','cf:name','row1name'put'tablename','row2','cf:id','row2id'put'tablename','row2','cf:name','row2name'put'tablename','row2','cf:name','row2nameupdate'put'tabl

java - 找不到 Storm Hbase 配置

所以我设置了一个来自kafka的Storm喷口和一个写入HDFS的bolt。这一切都很好。我现在想添加一个写入Hbase的新bolt。出于某种原因,我的应用程序没有获取hbase配置内容,并且出现以下错误:java.lang.IllegalArgumentException:HBaseconfigurationnotfoundusingkey'null'atorg.apache.storm.hbase.bolt.AbstractHBaseBolt.prepare(AbstractHBaseBolt.java:58)~[storm-hbase-0.9.3.2.2.0.0-2041.jar

rest - 如何从 REST 客户端使用后缀 glob 从 HBase 检索多行?

我在名为test的HBase表中有以下行ROWCOLUMN+CELLrow1column=cf:a,timestamp=1429204170712,value=value1row2column=cf:b,timestamp=1429204196225,value=value2row3column=cf:c,timestamp=1429204213427,value=value3我正在尝试使用SuffixGlobbing检索行键匹配前缀row的所有行,如前所述here但为什么当我尝试http://localhost:8080/test/row*wherelocalhost:8080时,我

hadoop - 启动Hbase 1.0.0 报错

我刚刚通过brewinstallhbase安装了Hbase。编辑hbase-site.xmlhbase.rootdirfile:///usr/local/Cellar/hbase/databases/hbase-${user.name}/hbaseThedirectorysharedbyregionserversandintowhichHBasepersists.TheURLshouldbe'fully-qualified'toincludethefilesystemscheme.Forexample,tospecifytheHDFSdirectory'/hbase'wheretheH