草庐IT

MongoDB:设计统计仪表板模式

coder 2023-10-31 原文

我正在为统计仪表板设计一个数据库,数据将从我的主系统汇总并保存在 Mongo 中。

我正在尝试找到为我的数据库建模的最佳方法,我遇到的问题是用户可以根据不同的标准(如时间范围、年龄组、性别)过滤图表

这篇文章对时间范围很有帮助,但我对如何将所有过滤器混合在一起感到困惑。

http://blog.mongodb.org/post/65517193370/schema-design-for-time-series-data-in-mongodb

例如

生成Total page views per product图表,mongo db记录应该类似于:

{
  timestamp_hour: ISODate("2013-10-10T23:00:00.000Z"),
  type: “page_views”,
  product_id: 1550
  values: {
    0: { 0: 999999, 1: 999999, …, 59: 1000000 },
    1: { 0: 2000000, 1: 2000000, …, 59: 1000000 },
    …,
    58: { 0: 1600000, 1: 1200000, …, 59: 1100000 },
    59: { 0: 1300000, 1: 1400000, …, 59: 1500000 }
  }
}

如果用户只能过滤时间范围,这将非常有效,但如果用户将它与年龄组或性别混合使用,则如何组织它

{
    timestamp_hour: ISODate("2013-10-10T23:00:00.000Z"),
    type: “page_views”,
    product_id: 1550
    values: {
        0: { 
            0: {
                total: 999999,
                age_group: {
                    teenagers: 4032932,
                    adults: 432942,
                    ...
                },
                gender: {
                    male: 4239423,
                    female: 4342343
                }

            },
            1: {
                total: 999999,
                age_group: {
                    teenagers: 4032932,
                    adults: 432942,
                    ...
                },
                gender: {
                    male: 4239423,
                    female: 4342343
                }
            },
            ....
            59: {
                total: 999999,
                age_group: {
                    teenagers: 4032932,
                    adults: 432942,
                    ...
                },
                gender: {
                    male: 4239423,
                    female: 4342343
                }
            }
        },
        ....
        59: { 
            0: {
                total: 999999,
                age_group: {
                    teenagers: 4032932,
                    adults: 432942,
                    ...
                },
                gender: {
                    male: 4239423,
                    female: 4342343
                }

            },
            1: {
                total: 999999,
                age_group: {
                    teenagers: 4032932,
                    adults: 432942,
                    ...
                },
                gender: {
                    male: 4239423,
                    female: 4342343
                }
            },
            ....
            59: {
                total: 999999,
                age_group: {
                    teenagers: 4032932,
                    adults: 432942,
                    ...
                },
                gender: {
                    male: 4239423,
                    female: 4342343
                }
            }
        },
    }
}

我可以看到的问题是,如果用户将(年龄范围、年龄组和性别)混合在一起会怎样

最佳答案

您希望存储聚合数据。向已经聚合的数据添加搜索条件从根本上来说是复杂的。您需要在原始数据和聚合数据之间做出权衡。

  • 更多原始数据意味着更容易混合和匹配不同的过滤条件,但也可能会降低运行时间。
  • 更多聚合数据意味着您需要预定义应该可以过滤的条件。

此时您刚刚发现原始数据和预先计算的数据之间的边界,您会发现您已经达到所需标准的最小可能存储大小。如果你想要一维,你可能需要 X 的存储量。如果你想要二维,你可能需要 X^2 的存储量。三个维度需要 X^3 等等。

在某些时候,您可能想考虑改用面向时间序列的数据库,例如 InfluxDB、Splunk 或类似数据库。此类数据库针对原始日志导向数据的存储和索引进行了优化。

关于MongoDB:设计统计仪表板模式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32493271/

有关MongoDB:设计统计仪表板模式的更多相关文章

  1. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  4. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4,一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时,用户会更新。但是当我添加例如字段:name时,它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗?我也搜索过这个地方,找到了许多不同的解决方案,但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数,您可以在ApplicationController中使用beforefilter,因为Rails4将参数

  5. ruby - 是否有用于序列化和反序列化各种格式的对象层次结构的模式? - 2

    给定一个复杂的对象层次结构,幸运的是它不包含循环引用,我如何实现支持各种格式的序列化?我不是来讨论实际实现的。相反,我正在寻找可能会派上用场的设计模式提示。更准确地说:我正在使用Ruby,我想解析XML和JSON数据以构建复杂的对象层次结构。此外,应该可以将该层次结构序列化为JSON、XML和可能的HTML。我可以为此使用Builder模式吗?在任何提到的情况下,我都有某种结构化数据-无论是在内存中还是文本中-我想用它来构建其他东西。我认为将序列化逻辑与实际业务逻辑分开会很好,这样我以后就可以轻松支持多种XML格式。 最佳答案 我最

  6. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  7. 计算机毕业设计ssm+vue基本微信小程序的小学生兴趣延时班预约小程序 - 2

    项目介绍随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱小学生兴趣延时班预约小程序的设计与开发被用户普遍使用,为方便用户能够可以随时进行小学生兴趣延时班预约小程序的设计与开发的数据信息管理,特开发了小程序的设计与开发的管理系统。小学生兴趣延时班预约小程序的设计与开发的开发利用现有的成熟技术参考,以源代码为模板,分析功能调整与小学生兴趣延时班预约小程序的设计与开发的实际需求相结合,讨论了小学生兴趣延时班预约小程序的设计与开发的使用。开发环境开发说明:前端使用微信微信小程序开发工具:后端使用ssm:VU

  8. ruby-on-rails - environment.rb 中设置的常量在开发模式中消失 - 2

    了解Rails缓存如何工作的人可以真正帮助我。这是嵌套在Rails::Initializer.runblock中的代码:config.after_initializedoSomeClass.const_set'SOME_CONST','SOME_VAL'end现在,如果我运行script/server并发出请求,一切都很好。然而,在我的Rails应用程序的第二个请求中,一切都因单元化常量错误而变得糟糕。在生产模式下,我可以成功发出第二个请求,这意味着常量仍然存在。我已通过将以上内容更改为以下内容来解决问题:config.after_initializedorequire'some_cl

  9. ruby-on-rails - 设计注册确认 - 2

    我在我的项目中有一个用户和一个管理员角色。我使用Devise创建了身份验证。在我的管理员角色中,我没有任何确认。在我的用户模型中,我有以下内容:devise:database_authenticatable,:confirmable,:recoverable,:rememberable,:trackable,:validatable,:timeoutable,:registerable#Setupaccessible(orprotected)attributesforyourmodelattr_accessible:email,:username,:prename,:surname,:

  10. Ruby:标准递归模式 - 2

    我经常迷上ruby​​的一件事是递归模式。例如,假设我有一个数组,它可能包含无限深度的数组作为元素。所以,例如:my_array=[1,[2,3,[4,5,[6,7]]]]我想创建一个方法,可以将数组展平为[1,2,3,4,5,6,7]。我知道.flatten可以完成这项工作,但这个问题是作为我经常遇到的递归问题的一个例子-因此我试图找到一个更可重用的解决方案。简而言之-我猜这种事情有一个标准模式,但我想不出任何特别优雅的东西。任何想法表示赞赏 最佳答案 递归是一种方法,它不依赖于语言。您在编写算法时要考虑两种情况:再次调用函数的情

随机推荐