草庐IT

mongodb - 如果已经在使用 Hadoop，HBase 或 Mongo 用于分析数据库？

coder 2023-11-05 原文

我目前有一个 Hadoop 集群，我在其中存储了大量日志，我在这些日志上运行 pig 脚本来计算聚合分析。我还有一个用于存储生产数据的 Mongo 集群。

我最近被安排在一个位置上，我需要做很多一次性的分析查询，或者让其他人去做。这些查询经常需要同时使用生产数据和日志数据，因此无论我使用什么，我都希望将所有内容都放在一个地方。我的日志数据在 json 中，大约是我的产品数据的 10 倍。以下是我看到的 Mongo 和 HBase 的优缺点:

Mongo 优点/HBase 缺点:

  1. 由于日志数据是 JSON 格式的，我可以很容易地将它导入 Mongo，而且当它通过 FluentD 之类的东西传入时，我可以实时执行此操作。
  2. 与我共事的大多数人都有编写 Mongo 查询的经验，因为他们需要处理生产数据，因此在 Mongo 上建立分析数据库对每个人来说都非常简单易用。
  3. 我对 Hbase 的了解比 Mongo 少得多。
  4. 不知道从 JSON 格式或从 Mongo 获取数据到 Hbase 是多么容易/困难。我想这还不错，但我没有看到太多文档。

HBase 优点/Mongo 缺点:

  1. 我的日志数据比我的产品数据大得多，因此将它同时存储在 hadoop 和 mongo 中比将我的产品数据同时存储在 hadoop 和 mongo 中要昂贵得多。
  2. 我可以在我已经运行的 Hadoop 集群之上构建 HBase，并在其中容纳我的产品数据，而无需添加许多额外的机器。如果我使用 Mongo，我需要一个全新的 Mongo 集群。
  3. 我可以在 Hbase 之上使用 Phoenix 来允许使用简单的 SQL 语法来访问我们的所有数据，但我不确定这对于基于多级文档的数据来说会有多难用。

我目前对 Hbase 知之甚少，我不认为自己是 Mongo 专家，所以我可能遗漏了很多东西。

那么，我缺少什么，哪种适合我的情况？

最佳答案

首先，你应该使用你已经可以处理的东西。因此，Mongo DB 似乎是一个不错的选择，尤其是当数据已经是 json 格式时。

另一方面，我使用 HBase 有一段时间了，虽然有很多行，但读取性能还是惊人的，我真的不知道是否有 Mongo DB 与 Hadoop 的良好和快速集成。 HBase是Hadoop数据库，和Hadoop一起工作是命中注定的。

如果日志可以通过(在 HBase Rowkey 中)进行索引:

producing_program_identifier, timestamp, ...

HBase 可以很好地处理这种查询模式。 但是，如果您决定使用 HBase，请使用 phoenix framwork ，它将节省您使用熟悉的接口(interface)(如 jdbc 和类似 sql 的查询)的时间。它还提供了可能足够的简单聚合函数(count、avg、max、min)。

关于mongodb - 如果已经在使用 Hadoop，HBase 或 Mongo 用于分析数据库？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16555751/

mongodbHadoopMongoHBasesectionhdfs

有关mongodb - 如果已经在使用 Hadoop，HBase 或 Mongo 用于分析数据库？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

随机推荐