草庐IT

Mongodb聚合结果缓存

coder 2023-10-31 原文

我在 mongodb 中有一个相当大的集合，其中包含大约 100 000 个文档(未分片)。这是一个 Web 应用程序的后端，基本上只允许用户浏览不同的方式来查看此集合中的相同信息。

对于其中一个 View ，我尝试使用聚合框架计算某个字段的出现次数。这意味着聚合整个集合。问题是这个聚合操作(这是一个简单的组、排序和限制管道)需要 2 秒，这对于 Web 应用程序来说太慢了。

所以我的问题是；为了缓存此聚合操作的结果，首选解决方案是什么？据我所知，不可能“聚合成”一个新的集合或类似的东西。目前我找到的唯一解决方案是将整个结果读入一个变量，然后使用插入将这个变量插入到一个新集合中——但我担心这涉及从数据库发送大量数据 => 到我的应用程序 =>返回数据库？

有什么建议吗？

管道示例:

res = items.aggregate([
    { "$group": { "_id": { "item_id": "$item_id", "title": "$title", "category": "$category" }, "count": { "$sum": 1 } } },
    { "$sort": { "count": -1 } },
    { "$limit": 5 }
])

模式基本上是这 3 个字段 + 一些实际上不相关的字段，即:

doc = {
    "item_id": 1000,
    "title": "this is the item title",
    "category": "this is the item category"
}

我已尝试对 item_id 和所有 3 个字段进行索引，但均未成功。

最佳答案

聚合将结果返回到一个文档。结果以16M为限。文档返回到应用程序。

如果你想“聚合”到一个集合——使用 map-reduce。

map_function = function () {
        emit(this.item_id, {"item_id": this.item_id, /* any other info */ "count": 1});
};

reduce_function = function (key, values) {
        var result = {"item_id": key, /* any other info should be given from one or any of values array objects */ "count": 0};
        values.forEach(function (value) {
                result["count"] += value["count"];
        });
        return result;
};

不确定您是否可以发出结构值 - 请尝试。顺便说一句，发射关键领域是好的。

关于Mongodb聚合结果缓存，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14650694/

Mongodb聚合34sectionitem_idaggregation-framework

有关Mongodb聚合结果缓存的更多相关文章

  1. ruby - 如何在 Ubuntu 中清除 Ruby Phusion Passenger 的缓存？ - 2

    我试过重新启动apache，缓存的页面仍然出现，所以一定有一个文件夹在某个地方。我没有“公共(public)/缓存”，那么我还应该查看哪些其他地方？是否有一个URL标志也可以触发此效果？ 最佳答案 您需要触摸一个文件才能清除phusion，例如:touch/webapps/mycook/tmp/restart.txt参见docs 关于ruby-如何在Ubuntu中清除RubyPhusionPassenger的缓存？，我们在StackOverflow上找到一个类似的问题：

  2. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

    尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

  3. 报告回顾丨模型进化狂飙，DetectGPT能否识别最新模型生成结果？ - 2

    导读语言模型给我们的生产生活带来了极大便利，但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT：判断文本是否为机器生成的工具」中，主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具，它可以帮助我们更好地分辨文章的来源和可信度，对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能，实现和效果等展开。（文末点击“阅读原文”，查看活动回放。）Ericmitchell斯坦福大学计算机系四年级博士生，由ChelseaFinn和Chri

  4. ruby - Rails Elasticsearch 聚合 - 2

    不知何故，我似乎无法获得包含我的聚合的响应...使用curl它按预期工作:HBZUMB01$curl-XPOST"http://localhost:9200/contents/_search"-d'{"size":0,"aggs":{"sport_count":{"value_count":{"field":"dwid"}}}}'我收到回复:{"took":4,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":90,"max_score":0.0,"hits":[]},"a

  5. c# - Ruby 等效于 C# Linq 聚合方法 - 2

    什么是Linq聚合方法的ruby​​等价物。它的工作原理是这样的varfactorial=new[]{1,2,3,4,5}.Aggregate((acc,i)=>acc*i);每次将数组序列中的值传递给lambda时，变量acc都会累积。 最佳答案 这在数学以及几乎所有编程语言中通常称为折叠。它是更普遍的变形概念的一个实例。Ruby从Smalltalk中继承了这个特性的名称，它被称为inject:into:(像aCollectioninject:aStartValueinto:aBlock一样使用。)所以，在Ruby中，它称为inj

  6. ruby - gem 推送结果为 "package metadata is missing" - 2

    我正在尝试将我更新的gem推送到ruby​​gems.com并得到以下结果。~/dev/V2/V2GPTI(master)$gembuildv2gpti.gemspecSuccessfullybuiltRubyGemName:v2gptiVersion:0.2File:v2gpti-0.2-universal-darwin-13.gem~/dev/V2/V2GPTI(master)$gempushv2gpti.gemspecERROR:Whileexecutinggem...(Gem::Package::FormatError)packagemetadataismissinginv2g

  7. ruby-on-rails - bundle 安装尝试使用缓存文件 - 2

    当我尝试进行bundle安装时，我的gem_path和gem_home指向/usr/local/rvm/gems/我没有写入权限，并且由于权限无效而失败。因此，我已将两个路径都更改为我具有写入权限的本地目录。这样做时，我进行了bundle安装，我得到:bruno@test6:~$bundleinstallFetchinggemmetadatafromhttps://rubygems.org/.........Fetchinggemmetadatafromhttps://rubygems.org/..Bundler::GemspecError:Couldnotreadgemat/afs/

  8. ruby-on-rails - Heroku Action 缓存似乎不起作用 - 2

    我一直在Heroku上尝试不同的缓存策略，并添加了他们的memcached附加组件，目的是为我的应用程序添加Action缓存。但是，当我在我当前的应用程序上查看Rails.cache.stats时(安装了memcached并使用dalligem)，在执行应该缓存的操作后，我得到current和total_items为0。在Controller的顶部，我想缓存我有的Action:caches_action:show此外，我修改了我的环境配置(对于在Heroku上运行的配置)config.cache_store=:dalli_store我是否可以查看其他一些统计数据，看看它是否有效或我做错

  9. ruby-on-rails - rails expire_page 没有删除缓存的文件 - 2

    我有一个具有页面缓存的ControllerAction，我制作了一个清扫程序，它使用Controller和指定的Action调用expire_page...Controller操作呈现一个js.erb模板，所以我试图确保expire_page删除public/javascripts中的.js文件，但它没有这样做。classJavascriptsController"javascripts",:action=>"lol",:format=>'js')endend...所以，我访问javascripts/lol.js并呈现我的模板。我验证了public/javascripts/lol.js

  10. ruby - 猴子修补 float 中缀运算符产生意想不到的结果 - 2

    重新定义Float#/似乎没有效果:classFloatdef/(other)"magic!"endendputs10.0/2.0#=>5.0但是当另一个中缀运算符Float#*被重新定义时，Float#/突然采用了新的定义:classFloatdef/(other)"magic!"enddef*(other)"spooky"endendputs10.0/2.0#=>"magic!"我很想知道是否有人可以解释这种行为的来源，以及其他人是否得到相同的结果。ruby:ruby2.0.0p353(2013-11-22)[x64-mingw32]要快速确认错误，请运行thisscript.

随机推荐