草庐IT

hbase-unsecure

全部标签

web-services - 如何使用 hbase 处理 Web 请求

我有大约300万份pdf、文档和图像文档。我已经建立了一个网站,如果用户从网站界面搜索,我必须根据需要提供那些hbase存储的文档。HowcanIdoit?Isitgoodtousehbaseforservingwebdocuments(infuturethesedocumentswillbefurtherincreased)?我的hadoop版本是1.2.1,hbase是0.94。 最佳答案 在这种情况下,我更喜欢有一个搜索服务器来索引这些数据,并且网络将与这个搜索服务器api集成,例如:Solr,是一个开源搜索服务器。希望这对您

hadoop - 为什么 Hbase 中打开的文件太多

我已经使用hadoop配置了一个2节点集群并安装了hbase。它工作正常,我在hadoop中运行了一些基本的mapreduce作业,我也能够在hbase中创建和列出一些表。但是我在hdfs/hbase中的数据很少,而且没有作业在运行。一段时间后,我开始在hbase日志中收到"Java.net.Socket:Toomanyopenfiles"错误。我已经寻找了一些解决方案,但主要是关于增加限制的答案。不过我很好奇为什么打开的文件太多。这个集群没有被任何其他程序使用,除了教程中的简单mapreduce任务,我没有运行任何作业。为什么会这样?编辑在Andrzej建议后,我运行了这个命令(ls

java.lang.RuntimeException : Failed construction of Master: class org. apache.hadoop.hbase.master.HMaster

当我启动-hbase.shHMaster和HregionServer正在启动,但一段时间后不可见。通过查看日志,我发现了这一点。HMaster:java.lang.RuntimeException:FailedconstructionofMaster:classorg.apache.hadoop.hbase.master.HMasteratorg.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:3150)atorg.apache.hadoop.hbase.master.HMasterCommandLine.

java - Spark Yarn Cluster 连接到 Hbase 错误

我有一个应用程序可以解析vcf文件并将数据插入到hbase中。该应用程序在使用masterlocal时运行,使用apachespark没有问题,但是当我使用apachesparkyarncluster运行它时,出现以下错误:17/03/3110:36:09INFOyarn.Client:Applicationreportforapplication_1490344846293_0020(state:RUNNING)17/03/3110:36:10INFOyarn.Client:Applicationreportforapplication_1490344846293_0020(stat

java - 更新 HBase 中整列的值

我有一个Hbase表,所有行都有一个特定的列值901877853087813636column=metadata:collection-id,timestamp=1514594631532,value=1007现在如何将表中所有行的值从1007更改为1008。所有帮助都指向修改特定行。请帮帮我 最佳答案 用SingleColumnValueFilter扫描表,得到value所在的所有行1007而不是你可以使用批量放置为所有这些行放置新值(1008)。例如扫描放置过滤器,如下所示:SingleColumnValueFiltersing

hadoop - HBase 中的部分行键扫描

我必须在我的hbase部署中遵循行键:设备编号|记录时间例如:454312|20180304124511现在我想进行部分行键扫描,即我只想在LogTime范围内扫描例如我想获取logtimet1和t2之间的所有设备编号?任何人都可以帮忙。 最佳答案 HBase行按字母顺序排序,因此您可以按前缀扫描,但不能按后缀扫描。您可以做的一件事是使用RowFilter扫描整个表-根据您的字段LogTime编写过滤器逻辑。它将过滤服务器上的行,因此您的客户端代码将只获取正确的行。 关于hadoop-H

hadoop - 如何获取 Phoenix URL 的 HBase IP 地址

我可以通过SSH连接到Hadoop集群并可以运行hbase命令。但是我需要使用需要HBase服务器IP地址的PhoenixJDBC驱动程序进行连接。我尝试了用于集群的IP地址,但没有成功。这可能只是一个通用的Hadoop问题,但是IP地址是在哪里配置的? 最佳答案 如果您知道hadoop集群名称节点,那么您可以尝试对它们执行ping命令或发送如下所示的curl请求curl'http://my-namenode-lv-101:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeStat

java - Hbase mapreduce 作业 : all column values are null

我正在尝试在HBase数据库的表上用Java创建一个map-reduce作业。使用here中的示例和互联网上的其他东西,我设法成功地编写了一个简单的行计数器。但是,尝试编写一个实际对列中的数据执行某些操作的程序是不成功的,因为接收到的字节始终为空。我的Driver工作的一部分是这样的:/*Setmain,mapandreduceclasses*/job.setJarByClass(Driver.class);job.setMapperClass(Map.class);job.setReducerClass(Reduce.class);Scanscan=newScan();scan.se

hadoop - hbase 0.90.5 未使用 hadoop 1.0 在分布式模式下启动

我无法启动HMaster:(请帮我。关于这个错误的第二天Exceptioninthread"main"java.lang.RuntimeException:FailedconstructionofRegionserver:classorg.apache.hadoop.hbase.regionserver.HRegionServerUnabletostartmaster已经很好地安装了hadoop集群。在启动hbase之前等待30秒。我遵循了本教程http://hbase.apache.org/book/example_config.html#d0e2432在所需部分ulimit和npr

java - 如何像 oracle/mysql in(row1,row2,row3...) 一样按行解析 HBase 查询数据

在oracle/mysql中我们通常查询记录使用select*fromtesttwheret.idin(1001,1002,1003);但是hbase没有选择数据的api,只能使用扫描(开始行)和结束行;谁已经解决了这个问题,或者有办法做到这一点。谢谢。 最佳答案 如果您正在寻找HBase作为RDBMS的替代品,那就不要了。HBase在查询数据的方式上受到更多限制。在任何情况下,如果您在HBase中的行键是id,您可以通过键执行您提到的3GET查询 关于java-如何像oracle/my