mongodb - 聚合 : Counting Items Per Hour

coder 2023-10-30 原文

我想知道是否有人可以帮助我正确设置聚合函数。我正在尝试计算一段文本在指定日期每小时出现的次数。到目前为止，我有:

db.daily_data.aggregate(
  [
    { $project : { useragent: 1, datetime: 1, url: 1, hour: {$hour: new Date("$datetime")} } },
    { $match : { datetime: {$gte: 1361318400000, $lt: 1361404800000}, useragent: /.*LinkCheck by Siteimprove.*/i } },
    { $group : { _id : { useragent: "$useragent", hour: "$hour" }, queriesPerUseragent: {$sum: 1} } }
  ]
);

但我显然弄错了，因为小时总是 0:

{
  "result" : [
    {
      "_id" : {
        "useragent" : "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.0) LinkCheck by Siteimprove.com",
        "hour" : 0
      },
      "queriesPerUseragent" : 94215
    }
  ],
  "ok" : 1
}

这也是一个记录的精简示例:

{
  "_id" : ObjectId("50fe63c70266a712e8663725"),
  "useragent" : "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.0) LinkCheck by Siteimprove.com",
  "datetime" : NumberLong("1358848954813"),
  "url" : "http://www.somewhere.com"
}

我还尝试使用 new Date("$datetime").getHours() 而不是 $hour 函数来尝试获得相同的结果，但是没有运气。有人可以指出我出错的方向吗？

谢谢!

最佳答案

这是对您的问题的建议，而不是答案。

在用于分析的 MongoDB 上，建议为您要计算的每个指标预先聚合您的存储桶(在您的用例中为每小时存储桶)。

因此，对于您的指标，您可以更新预先聚合的集合(加快查询时间):

db.user_agent_hourly.update({url: "your_url", useragent: "your user agent", hour: current_HOUR_of_DAY, date: current_DAY_Date}, {$inc: {counter:1}}, {upsert:true})

请注意，在 current_DAY_Date 中，您必须指向当天的稳定日期值，即 current_year/current_month/current_day 00:00:00 ，使用相同的 hour:minute:second当天收到的每个指标。

然后，您可以查询此集合，提取任何给定时间段的聚合分析，如下所示:

 db.user_agent_hourly.aggregate(
    {$match:{date:{$gte: INITIAL_DATE, $lt: FINAL_DATE}}},
    {$group:{ _id : { useragent: "$useragent", hour: "$hour" } ,queriesPerUseragent: {$sum: "$count"} } },
    {$sort:{queriesPerUseragent:-1}}
 )

如果你想使用特定的用户代理过滤结果，你可以使用下一个查询:

 db.user_agent_hourly.aggregate(
    {$match:{date:{$gte: INITIAL_DATE, $lt: FINAL_DATE, useragent: "your_user_agent"}}},
    {$group:{ _id : { useragent: "$useragent", hour: "$hour" }, queriesPerUseragent: {$sum: "$count"} } }
 )

PS:我们将收到的每一个指标都存储在其他集合中，以便在发生灾难或其他需要时能够对其进行重新处理。

关于mongodb - 聚合 : Counting Items Per Hour，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15021809/

Counting mongodb 34 useragent code aggregation-framework

有关mongodb - 聚合 : Counting Items Per Hour的更多相关文章

ruby - Rails Elasticsearch 聚合 - 2
不知何故，我似乎无法获得包含我的聚合的响应...使用curl它按预期工作:HBZUMB01$curl-XPOST"http://localhost:9200/contents/_search"-d'{"size":0,"aggs":{"sport_count":{"value_count":{"field":"dwid"}}}}'我收到回复:{"took":4,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":90,"max_score":0.0,"hits":[]},"a
c# - Ruby 等效于 C# Linq 聚合方法 - 2
什么是Linq聚合方法的ruby等价物。它的工作原理是这样的varfactorial=new[]{1,2,3,4,5}.Aggregate((acc,i)=>acc*i);每次将数组序列中的值传递给lambda时，变量acc都会累积。最佳答案这在数学以及几乎所有编程语言中通常称为折叠。它是更普遍的变形概念的一个实例。Ruby从Smalltalk中继承了这个特性的名称，它被称为inject:into:(像aCollectioninject:aStartValueinto:aBlock一样使用。)所以，在Ruby中，它称为inj
sql - Arel 导致聚合无限循环 - 2
我在使用Arel聚契约(Contract)一查询中的2列时遇到了问题。当我运行它时，在railsdev-server崩溃之前，整个服务器会卡住一分钟。我怀疑是无限循环:)。也许我误解了Arel的整个概念，如果有人能看一下，我将不胜感激。这个查询的预期结果是这样的:[{:user_id=>1,:sum_account_charges=>300,:sum_paid_debts=>1000},...]a_account_charges=Table(:account_charges)a_paid_debts=Table(:paid_debts)a_participants=Table(:exp
ruby-on-rails - 如何在 Rails/ActiveRecord 中同时使用多个聚合函数？ - 2
我想同时执行多个聚合函数，例如获取按状态分组的最大和最小id:Model.maximum(:id).minimum(:id).group(:status)这行不通(至少对于Rails3.1.1是这样)——你在最小调用时收到一个错误，说它没有在Fixnum上定义。NoMethodError:undefinedmethod`minimum'for22377:Fixnum我可以为它做原始sql-但只是想知道是否有更高级别/Rails选项...谢谢，克里斯最佳答案我有一个类似的问题，我在Rails4中使用groupwithpluck解决
ruby-on-rails - 在一个 Rails 应用程序中使用 PostgreSQL 的 MongoDB - 2
我可以在一个Rails应用程序中同时使用MongoDB和PostgreSQL吗？具体来说，我最终会想要使用像MongoHQ这样的东西。到目前为止，我未能在实验中进行这项工作。令我担心的是，MongoDB文档特别指出我必须禁用ActiveRecord。任何建议将不胜感激。最佳答案您无需禁用ActiveRecord即可使用MongoDB。查看Mongoid只需将gem加上任何模型与您现有的任何ActiveRecord模型一起添加。您应该注意到MongoHQ只是MongoDB的托管服务，可以与任何对象文档映射器(ODM)一起使用。更多
ruby - 使用 mongodb/mongoid 运行时更改模型 - 2
我必须在mongoid模型中添加几个字段，我知道MongoDB没有迁移，但如果我继续而不删除数据库，使rails完全“重新生成”数据库，它不会显示或使用新的领域!去这里最好的方法是什么？有比删除/重新打开mongodb更软的东西吗？提前致谢卢卡最佳答案一般来说，应该可以在运行时用新字段更新旧文档。MongoDB中不需要迁移。您可能想编写rake任务以使用新字段和默认值更新旧文档。您可以通过检查那些默认值为nil的新字段来找到这些文档。更新简单风格:如果您使用默认值定义一个新字段，只要您设置了一个新值，就应该始终使用该值:应用程序
ruby-on-rails - 我如何从 Ruby 代码连接到 mongodb？ - 2
我如何从Ruby代码连接到mongodb？最佳答案首先，您必须安装MongoDbgem:geminstallmongo然后运行代码:require'rubygems'#notnecessaryforRuby1.9require'mongo'db=Mongo::Connection.new.db("mydb")#ORdb=Mongo::Connection.new("localhost").db("mydb")#ORdb=Mongo::Connection.new("localhost",27017).db("mydb")
ruby - MongoDB:无法从 BSON 类型 EOO 转换为 Date - 2
我正在尝试使用聚合框架(使用ruby)并像这样投影日期:db['requests'].aggregate([{"$project"=>{_id:0,method:'$method',user:'$user',year:{'$year'=>'$timestamp'}}}])文档是这样的:{_id:ObjectId("5177d7d7df26358289da7dfd"),timestamp:ISODate("2013-04-12T03:58:05+00:00"),method:"POST",status:"200",inputsize:"874",outputsize:"4981",u
ruby - 在 Ruby 中从 MongoDB 中检索字段的子集 - 2
我试图通过在Ruby中进行的查询从MongoDB获取字段的子集，但它似乎不起作用。它不返回任何结果这是ruby代码:coll.find("title"=>'Halo',:fields=>["title","isrc"])#thisdoesn'twork如果我删除字段散列，它会工作，返回包含所有字段的结果coll.find("title"=>'Halo')#thisworks查看mongodb控制台，第一个查询在mongodb服务器上结束，如下所示:{title:"Halo",fields:["title","isrc"]}如果我尝试从mongo客户端控制台进行查询，它会工作，我会得到结
ruby - ElasticSearch 术语按整个字段聚合 - 2
如何编写考虑整个字段值而不是单个标记的ElasticSearch术语聚合查询？例如，我想按城市名称聚合，但以下返回new、york、san和francisco作为单独的桶，而不是纽约和旧金山作为预期的桶。curl-XPOST"http://localhost:9200/cities/_search"-d'{"size":0,"aggs":{"cities":{"terms":{"field":"city","min_doc_count":10}}}}' 最佳答案您应该在映射中修复此问题。添加一个not_analyzed字段。如果您

mongodb - 聚合 : Counting Items Per Hour

有关mongodb - 聚合 : Counting Items Per Hour的更多相关文章

随机推荐