草庐IT

mongodb - 如何在mongodb中聚合时间序列文档

coder 2023-11-06 原文

我有一个 mongo 分片集群，我在其中保存来自虚拟机监控系统 (zabbix ecc) 的数据。现在我想从数据库中获取一些信息，例如一个虚拟机最近 2 天的 avg memfree。 我阅读了有关聚合的教程以及与 sql 的比较，但我不明白如何查询时间序列文档(写得像 mongo 在网络研讨会上建议的那样)。

示例:我收集了很多这样的文档(一个文档代表 1 小时):

"_id" : ObjectId("5558ab960e8956234285de14"),
    "timestamp_hour" : ISODate("2014-10-13T23:00:00.000+02:00"),
    "name" : "memfree",
    "unity" : "B",
    "values" : {
        "0" : {
            "0" : 2041004032.0000000000000000,
            "1" : 2041004032.0000000000000000,
            "2" : 2041004032.0000000000000000,
            "3" : 2041004032.0000000000000000,
            "4" : 2041004032.0000000000000000,
            "5" : 2041004032.0000000000000000,
            "6" : 2041004032.0000000000000000,
            "7" : 2041004032.0000000000000000,
            "8" : 2041004032.0000000000000000,
            "9" : 2041004032.0000000000000000,
            "10" : 2041004032.0000000000000000,
            "11" : 2041004032.0000000000000000,
            "12" : 2041004032.0000000000000000,
            "13" : 2041004032.0000000000000000,
            "14" : 2041004032.0000000000000000,
            "15" : 2041004032.0000000000000000,
            "16" : 2041004032.0000000000000000,
            "17" : 2041004032.0000000000000000,
            "18" : 2041004032.0000000000000000,
            "19" : 2041004032.0000000000000000,
            "20" : 2041004032.0000000000000000,
            "21" : 2041004032.0000000000000000,
            "22" : 2041004032.0000000000000000,
            "23" : 2041004032.0000000000000000,
            "24" : 2041004032.0000000000000000,
            "25" : 2041004032.0000000000000000,
            "26" : 2041004032.0000000000000000,
            "27" : 2041004032.0000000000000000,
            "28" : 2041004032.0000000000000000,
            "29" : 2041004032.0000000000000000,
            "30" : 2041004032.0000000000000000,
            "31" : 2041004032.0000000000000000,
            "32" : 2041004032.0000000000000000,
            "33" : 2041004032.0000000000000000,
            "34" : 2041004032.0000000000000000,
            "35" : 2041004032.0000000000000000,
            "36" : 2041004032.0000000000000000,
            "37" : 2041004032.0000000000000000,
            "38" : 2041004032.0000000000000000,
            "39" : 2041004032.0000000000000000,
            "40" : 2041004032.0000000000000000,
            "41" : 2041004032.0000000000000000,
            "42" : 2041004032.0000000000000000,
            "43" : 2041004032.0000000000000000,
            "44" : 2041004032.0000000000000000,
            "45" : 2041004032.0000000000000000,
            "46" : 2041004032.0000000000000000,
            "47" : 2041004032.0000000000000000,
            "48" : 2041004032.0000000000000000,
            "49" : 2041004032.0000000000000000,
            "50" : 2041004032.0000000000000000,
            "51" : 2041004032.0000000000000000,
            "52" : 2041004032.0000000000000000,
            "53" : 2041004032.0000000000000000,
            "54" : 2041004032.0000000000000000,
            "55" : 2041004032.0000000000000000,
            "56" : 2041004032.0000000000000000,
            "57" : 2041004032.0000000000000000,
            "58" : 2041004032.0000000000000000,
            "59" : 2041004032.0000000000000000
        },
        "1" : {
            "0" : 2041004032.0000000000000000,
            "1" : 2041004032.0000000000000000,
            "2" : 2041004032.0000000000000000,
            "3" : 2041004032.0000000000000000,
            "4" : 2041004032.0000000000000000,
            "5" : 2041004032.0000000000000000,
            "6" : 2041004032.0000000000000000,
            "7" : 2041004032.0000000000000000,
            "8" : 2041004032.0000000000000000,
            "9" : 2041004032.0000000000000000,
            "10" : 2041004032.0000000000000000,
            "11" : 2041004032.0000000000000000,
            "12" : 2041004032.0000000000000000,
            "13" : 2041004032.0000000000000000,
            "14" : 2041004032.0000000000000000,
            "15" : 2041004032.0000000000000000,
            "16" : 2041004032.0000000000000000,
            "17" : 2041004032.0000000000000000,
            "18" : 2041004032.0000000000000000,
            "19" : 2041004032.0000000000000000,
            "20" : 2041004032.0000000000000000,
            "21" : 2041004032.0000000000000000,
            "22" : 2041004032.0000000000000000,
            "23" : 2041004032.0000000000000000,
            "24" : 2041004032.0000000000000000,
            "25" : 2041004032.0000000000000000,
            "26" : 2041004032.0000000000000000,
            "27" : 2041004032.0000000000000000,
            "28" : 2041004032.0000000000000000,
            "29" : 2041004032.0000000000000000,
            "30" : 2041004032.0000000000000000,
            "31" : 2041004032.0000000000000000,
            "32" : 2041004032.0000000000000000,
            "33" : 2041004032.0000000000000000,
            "34" : 2041004032.0000000000000000,
            "35" : 2041004032.0000000000000000,
            "36" : 2041004032.0000000000000000,
            "37" : 2041004032.0000000000000000,
            "38" : 2041004032.0000000000000000,
            "39" : 2041004032.0000000000000000,
            "40" : 2041004032.0000000000000000,
            "41" : 2041004032.0000000000000000,
            "42" : 2041004032.0000000000000000,
            "43" : 2041004032.0000000000000000,
            "44" : 2041004032.0000000000000000,
            "45" : 2041004032.0000000000000000,
            "46" : 2041004032.0000000000000000,
            "47" : 2041004032.0000000000000000,
            "48" : 2041004032.0000000000000000,
            "49" : 2041004032.0000000000000000,
            "50" : 2041004032.0000000000000000,
            "51" : 2041004032.0000000000000000,
            "52" : 2041004032.0000000000000000,
            "53" : 2041004032.0000000000000000,
            "54" : 2041004032.0000000000000000,
            "55" : 2041004032.0000000000000000,
            "56" : 2041004032.0000000000000000,
            "57" : 2041004032.0000000000000000,
            "58" : 2041004032.0000000000000000,
            "59" : 2041004032.0000000000000000
....

我想知道从“2014-10-13T23:00:00.000”到“2014-10-15T23:00:00.000”的平均 memfree。所以我需要对从 13 到 15 的所有值求和(3600*24*2 值)。 我认为查询将是这样的，但我不知道如何解释 avg 命令......

db.metrics.aggregate( [
   { $match: { name: 'memfree' ,timestamp_hour:{$gte: ISODate("2014-10-13T23:00:00.000+02:00")},timestamp_hour:{$lte: ISODate("2014-10-15T23:00:00.000+02:00")} }  },
   {
     $group: {
        _id: "$name",
        avg: { $avg: "how can get all the values??" }
     }
   }
] )

有什么建议吗？

谢谢

编辑: 正确答案(适用于一对多指标)是:

map = function() {
  for (var min in this.values)
    for (sec in this.values[min]){
      data = {value: {}, count: {}}
      data.value[this.name] = this.values[min][sec]
      data.count[this.name] = 1
      emit(this.name, data);
    }
}

reduce = function(key, values) {
  var sum = values.reduce(function(a, b) {
    out = {value: {}, count: {},avg:0}
    for (k in b.value){
        incount = a.count[k] || 0
        invalue = a.value[k] || 0
        out.value[k] = b.value[k]+invalue
        out.count[k] = b.count[k]+incount
    }
    out.avg = out.value[k]/out.count[k]
    return out
  });
  return sum;
}


printjson(db.node0208_26608.mapReduce(map, reduce,
               {
                 query: { name: {$in:['ioutil','memtotal','memfree']} ,
                          timestamp_hour:{$gte: ISODate("2014-09-22T00:00:00.000+02:00")},
                          timestamp_hour:{$lte: ISODate("2014-09-28T23:00:00.000+02:00")} 
                         },
                 //to write directly on a collection
                //out:{merge: "map_reduce_out"},
             out: {inline:1},
           verbose:true
               })
)

产生这个结果:

{
        "results" : [
                {
                        "_id" : "ioutil",
                        "value" : {
                                "value" : {
                                        "ioutil" : 2495762.106280909
                                },
                                "count" : {
                                        "ioutil" : 601200
                                },
                                "avg" : 4.15130090865088
                        }
                },
                {
                        "_id" : "memfree",
                        "value" : {
                                "value" : {
                                        "memfree" : 28500447903744
                                },
                                "count" : {
                                        "memfree" : 601200
                                },
                                "avg" : 47405934.636966065
                        }
                },
                {
                        "_id" : "memtotal",
                        "value" : {
                                "value" : {
                                        "memtotal" : 635834327040000
                                },
                                "count" : {
                                        "memtotal" : 594000
                                },
                                "avg" : 1070428160
                        }
                }
        ],
        "counts" : {
                "input" : NumberLong(499),
                "emit" : NumberLong(1796400),
                "reduce" : NumberLong(11),
                "output" : NumberLong(3)
        },
        "timeMillis" : 37956,
        "timing" : {
                "shardProcessing" : 37948,
                "postProcessing" : 8
        },
        "shardCounts" : {
                "192.168.0.19:27017" : {
                        "input" : 165,
                        "emit" : 594000,
                        "reduce" : 4,
                        "output" : 1
                },
                "192.168.0.20:27017" : {
                        "input" : 334,
                        "emit" : 1202400,
                        "reduce" : 7,
                        "output" : 2
                }
        },
        "postProcessCounts" : {
                "192.168.0.21:27017" : {
                        "input" : NumberLong(3),
                        "reduce" : NumberLong(0),
                        "output" : NumberLong(3)
                }
        },
        "ok" : 1
}

最佳答案

使用聚合框架很难实现这一点。但它与 MapReduce 一起“工作”得很好。类似的东西(未经测试):

// collect *individual* values
map = function() {
  for (var min in this.values)
    for (sec in this.values[min])
      data = {value: {}, count: {}}
      data.value[this.name] = this.values[min][sec]
      data.count[this.name] = 1
      emit(null, data);
}

// sum values and count
reduce = function(key, values) {
  var sum = values.reduce(function(a, b) {
    out = {value: {}, count: {}}
    for (k in b.value)
        incount = a.count[k] || 0
        invalue = a.value[k] || 0
        out.value[k] = b.value[k]+invalue
        out.count[k] = b.count[k]+incount

    return out
  });
  return sum;
}

关于mongodb - 如何在mongodb中聚合时间序列文档，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30391584/

mongodb何在2041004032.00000000000000000000000000000000mapreducetime-seriesmongodb-querynosql-aggregation

有关mongodb - 如何在mongodb中聚合时间序列文档的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  4. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  5. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  6. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  7. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  8. ruby-on-rails - 如何在 ruby​​ 交互式 shell 中有多行？ - 2

    这可能是个愚蠢的问题。但是，我是一个新手......你怎么能在交互式ruby​​shell中有多行代码？好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗？再次抱歉，如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f

  9. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

    我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

  10. ruby - 如何在 Rails 4 中使用表单对象之前的验证回调？ - 2

    我有一个服务模型/表及其注册表。在表单中，我几乎拥有服务的所有字段，但我想在验证服务对象之前自动设置其中一些值。示例:--服务Controller#创建Action:defcreate@service=Service.new@service_form=ServiceFormObject.new(@service)@service_form.validate(params[:service_form_object])and@service_form.saverespond_with(@service_form,location:admin_services_path)end在验证@ser

随机推荐