草庐IT

hbase-default

全部标签

hadoop - HBase 是否稳定且可用于生产?

对于已经在自己的集群上部署了HBase的人,您觉得它对于生产使用来说足够稳定吗?您遇到过哪些类型的麻烦或问题?我确实看到许多公司被列为在生产中使用HBase(http://wiki.apache.org/hadoop/Hbase/PoweredBy),但我很好奇是否需要大量维护、修补和演练来保持HBase集群的正常运行。 最佳答案 HBase即将通过HBase-0.20达到一个重要的里程碑。有一个alpha,很快就会成为RC。它有非常重大的性能改进。据报道,StumbleUpon为他们的网站提供了HBase的主干版本,没有额外的缓存

hadoop - 用于实时统计的 elasticsearch vs hbase/hadoop

我每周登录数百万个小日志文件来做:数据挖掘的临时查询加入、比较、过滤和计算值使用python进行许多全文搜索对所有数百万文档运行此操作,每天几次我的第一个想法是将所有文档放在HBase/HDFS中并运行Hadoop作业生成统计结果。问题是:一些结果必须接近实时。因此,经过一些研究,我发现了ElasticSearch,现在我正在考虑传输所有数百万个文档并使用DSL查询来生成统计结果。这是个好主意吗?ElasticSearch似乎很容易处理数百万/数十亿的文档。 最佳答案 对于实时搜索分析,ElasticSearch是一个不错的选择。绝

hadoop - HBase : get(. ..) vs 扫描和内存表

我在HBase上执行MR。reducer中的业务逻辑大量访问两个表,比如T1(40k行)和T2(90k行)。目前,我正在执行以下步骤:1.在reducer类的构造函数中,做这样的事情:HBaseCRUDhbaseCRUD=newHBaseCRUD();HTableInterfacet1=hbaseCRUD.getTable("T1","CF1",null,"C1","C2");HTableInterfacet2=hbaseCRUD.getTable("T2","CF1",null,"C1","C2");在减少(...)Stringlowercase=....;/*Start:HBase

java - 如何使用 Java 而不是 XML 将 hbase 与 Spring Boot 一起使用?

我有SpringBootHadoop,想利用SpringHbaseTemplate。我的问题是文档仅包含有关配置和设置的“xml”方式的信息。我如何以及在何处将我的配置定义为java中的hbase配置,而不是官方文档中显示的xml?http://docs.spring.io/spring-hadoop/docs/1.0.1.RC1/reference/html/hbase.html 最佳答案 嗯,这不是一个真正的预期答案,但我想对其进行过多的开发以发表评论。我仔细阅读了SpringforApacheHadoop-ReferenceD

hadoop - 将 csv 数据加载到 Hbase

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗?更新问题,使其只关注一个问题editingthispost.关闭9年前。Improvethisquestion我是hadoop和hbase的新手,在我找到的每个教程中都有一些概念性问题困扰着我。我在win7系统的ubuntuVM中的单个节点上运行hadoop和hbase。我有一个csv文件,我想将其加载到单个hbase表中。列是:loan_number,borrower_name,current_distribution_date,loan_amount我知道我需要编写一个MapReduce作业来将这个csv文件

hadoop - 如何运行 Hbase Java 示例?

我在运行简单的Hbase示例时遇到问题。我在HbaseTest.java上创建了一个表并插入了一些记录。在Unix中,我可以编译java类。由。$javac-classpathhbase-0.94.2.jar:hadoop-core-1.0.4.jarHBaseTest.java但我无法通过以下方式运行该程序:$java-classpathhbase-0.94.2.jar:hadoop-core-1.0.4.jarHBaseTest以上命令对我不起作用。不确定是什么问题?这是运行HbaseJava示例的正确方法吗? 最佳答案 您可以

hadoop - 如何在 HBase 中预拆分表

我将数据存储在具有5个区域服务器的HBase中。我使用url的md5哈希作为我的行键。目前所有数据都只存储在一个区域服务器中。所以我想预先拆分区域,以便数据在所有区域服务器上统一传输。我想通过行键的第一个字符将表分成五个区域,以便行键从0到3的数据进入第一个区域服务器,3-6到第二个,7-9到第三个,a-d到第四个,d-f到5号。我该怎么做? 最佳答案 您可以在创建表时提供​​SPLITS属性。create'tableName','cf1',{SPLITS=>['3','6','9','d']}4个分割点将生成5个区域。请注意HBa

hadoop - 如何通过hdfs导入/导出hbase数据(hadoop命令)

我已经通过nutch将我爬取的数据保存在文件系统为hdfs的Hbase中。然后我通过命令将我的数据(hbase的一张表)从hdfs直接复制到某个本地目录hadoopfs-CopyToLocal/hbase/input~/Documents/output之后,我通过以下命令将该数据复制回另一个hbase(其他系统)hadoopfs-CopyFromLocal~/Documents/input/hbase/mydata它保存在hdfs中,当我在hbaseshell中使用list命令时,它显示为另一个表,即“mydata”,但是当我运行scan命令时,它说没有名称为“mydata”的表。上述

Hadoop 和 HBase

您好,我是hbase和hadoop的新手。我找不到为什么我们将hadoop与hbase一起使用。我知道hadoop是一个文件系统,但我读到我们可以在没有hadoop的情况下使用hbase那么我们为什么要使用hadoop?谢谢 最佳答案 Hadoop是一个允许我们以并行方式存储和处理跨机器集群的大量数据的平台。它是一个批处理系统,我们不必担心数据存储或处理的内部结构。它不仅提供HDFS,用于可靠数据存储的分布式文件系统,还提供处理框架MapReduce,允许跨机器集群处理庞大的数据集以并行方式。Hadoop的最大优势之一是它提供数据局

java - 设计 HBase 模式以最好地支持特定查询

我有一个与HBase模式设计相关的问题。问题相当简单——我在hbase中存储“通知”,每个通知都有一个状态("new"、“已读”和“已读”)。以下是我需要提供的API:获取用户的所有通知获取用户的所有"new"通知获取用户所有"new"通知的计数更新通知状态更新用户所有通知的状态获取数据库中的所有"new"通知通知应该可以按时间倒序浏览并允许分页。我有几个想法,我想看看其中一个是否显然是最好的,或者我是否完全错过了一个好的策略。这三者的共同点是,我认为每个通知只有一行,并且在行键中包含用户ID是可行的方法。为了获得分页的时间顺序,我也需要在那里有一个反向时间戳。我想将所有通知保存在一个