草庐IT

hbase-unsecure

全部标签

hadoop - 如何获取hbase行的所有版本

我正在尝试在hbase中执行以下命令:scan'testLastVersion'{VERSIONS=>8}它只返回行的最后一个版本。您知道如何通过命令shell和java代码获取row的所有版本吗?谢谢! 最佳答案 我想你错过了','那里......命令应该是这样的:scan'emp',{VERSIONS=>8}即使您缺少逗号,HBase也应该抛出错误:SyntaxError:(hbase):16:syntaxerror,unexpectedtLCURLY我尝试模拟您的场景并获得所有结果。请在下面找到它们。hbase(main):0

performance - HDFS 与 HBASE : Which one performs better on millions of small text files?

如果我们有数百万个大小从几KB到几MB不等的小文本文件,HDFS和HBASE中哪一个花费的处理时间更少?还有更少的内存消耗? 最佳答案 这是一个高层次的问题。缺少有关数据类型的信息。但是,一般而言,我们在决定存储位置等事项时需要牢记以下事项。在HDFS或HBase中:由于我们有质量较小的文件,将其存储在HDFS中会遇到一些问题。名称节点上的元数据会很高如果block大小(输入拆分大小)配置不正确,则完整数据局部性和并行处理的潜力将不会利用。有关输入拆分和之间关系的更多信息block大小,请引用SplitsizevsBlocksize

hadoop - 如何设置Hbase表列族的列族大小?

我正在尝试将CSV文件中的数据导入到HBase表中。但是我在导入过程中遇到了下图所示的异常。Error:com.google.protobuf.InvalidProtocolBufferException:Protocolmessagewastoolarge.Maybemalicious.UseCodedInputStream.setSizeLimit()toincreasethesizelimit.atcom.google.protobuf.InvalidProtocolBufferException.sizeLimitExceeded(InvalidProtocolBufferEx

带有 Hadoop HBASE 的 Spring Boot REST

我希望构建一个简单的RESTFullAPI来访问HBase。我查看了PythonHappyBase,但我的集群是基于Kerberos的。现在我进入了Spring。我曾经使用SolrCloud和SpringBoot制作简单的APIREST。是否可以对Hbase做同样的事情?我不知道是否必须使用SpringBoot'YarnApp'=>https://spring.io/guides/gs/yarn-basic/或SpringHadoop。=>https://projects.spring.io/spring-hadoop/只需要一个非常简单的API。感谢您的帮助。

java - 在 hbase 中有效地发送许多 get 请求

我正在尝试在Java中创建一个通用方法来查询hbase。我目前写了一篇接受3个参数的文章一个Range(扫描表格)列(待返回)...和条件(即browser==Chrome)所以一条语句(如果用SQLish语言编写)可能看起来像SELECTOSFROMTABLEWHEREBROWSER==CHROMEINRANGE(5WEEKSAGO->2WEEKSAGO)现在,我知道我没有正确使用HBase(对rowkey等使用常见的列查询),但为了实验,我想尝试一下,以帮助我学习。所以我做的第一件事是在Scan上设置一个Range。(5周到2周前),因为rowkey是timestamp,所以效率很

hadoop - 当 Memstore 在 Hbase 中崩溃时会发生什么?

当HBASE集群中的MEMSTORE发生故障时,Region服务器将如何响应? 最佳答案 我在SpliceMachine(开源)上向我们支持的公司解释了很多。memstore(内存)中的记录也有对应的WriteAheadLogRecords。当一条记录被插入到memstore中时,它也被附​​加到预写日志中。如果memstore崩溃(即regionserver崩溃),zookeeper将识别节点故障,HBaseMaster节点会将区域重新分配给另一个节点。启动该区域之前的另一个节点将从HDFS读取预写日志。希望这对您有所帮助。

hadoop - 奇怪的 DNS 服务器导致 Hadoop 和 HBase 出现故障

我的网络有一些奇怪的(据我所知)DNS服务器导致Hadoop或HBase出现故障。它将我的主机名解析为我的机器不知道的某个地址(即没有这样的接口(interface))。如果我在/etc/hosts中有以下条目,Hadoop就可以工作:127.0.0.1localhost127.0.1.1myhostname如果条目“127.0.1.1myhostname”不存在,上传文件到HDFS失败并提示它只能将文件复制到0个数据节点而不是1个。但在这种情况下,HBase不起作用:从HBaseshell创建表会导致NotAllMetaRegionsOnlineException(实际上是由HMas

hadoop - HBase 中的检查点

您好,我是HBase的新手,我无法理解HBase中检查点的概念。我想知道HBase中有哪些检查点,我们如何配置或使用它们?谢谢 最佳答案 根据评论中的讨论,我认为您想了解快照。让我在这里澄清一下,检查点只是备份而快照只是相同的拼写错误场景。请阅读链接中提供的附件,以便您对快照有一个很好的了解。Snapshotpdf's 关于hadoop-HBase中的检查点,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.c

hadoop - Hbase MapReduce程序中如何自动生成RowId

我需要将数据集文件加载到hbase表中。我在google上搜索了一些示例,并通过这些示例尝试读取文件并将其加载到Hbase中。但只有第一行正在读取。只有一行数据正在读取,我需要读取所有数据,我不知道我哪里错了我有这种格式的文件yearclassdaysmm1964920.58.819641013.64.219641111.84.71964127.70.1196517.30.8196526.50.11965310.81.41965413.23.51965516.17.01965619.09.21965718.710.71965819.910.91965916.68.2请任何人纠正我,我错

hadoop - HBase 与 MapReduce

我在hadoop集群上设置了一个HBase集群,其中所有节点都禁用了IPv6。一切正常;我能够运行Java客户端以使用标准Put、Scan、Get访问HBase,...我写了一个map-reduce程序来访问HBase,但是我得到了以下错误:Exceptioninthread"main"java.lang.NullPointerExceptionatorg.apache.hadoop.net.DNS.reverseDns(DNS.java:72)atorg.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(Tab