草庐IT

php - 带有分页、不同值的 mongo + PHP 的性能问题

coder 2023-10-29 原文

我有一个 mongodb 集合，其中包含许多涉及多个领域的书籍。与我的问题相关的一些关键字段是:

{
book_id : 1, 
book_title :"Hackers & Painters", 
category_id : "12",
related_topics : [ {topic_id : "8", topic_name : "Computers"},
                   {topic_id : "11", topic_name : "IT"}
                 ]
...
... (at least 20 fields more)
...
}

我们在搜索页面上有一个用于过滤结果的表单(包含许多输入/选择框)。当然还有分页。使用过滤后的结果，我们在页面上显示所有类别。对于每个类别，在该类别中找到的结果数也会显示在页面上。

我们尝试使用 MongoDB 而不是 PostgreSQL。因为性能和速度是我们对这个过程的主要关注点。

现在的问题是:

我可以通过为“查找”函数提供所有过滤器参数来轻松过滤结果。这很酷。我可以使用 skip 和 limit 函数对结果进行分页:

$data = $lib_collection->find($filter_params, array())->skip(20)->limit(20);

但我必须在分页发生之前收集为每个 category_id 和 topic_id 找到的结果数。而且我不想使用 PHP“foreach”所有结果、收集类别和管理分页，因为过滤后的数据通常包含近 200.000 个结果。

问题 1: 我在 PHP 手册中找到了带有“不同”示例的 mongodb::command() 函数。我认为我通过这种方法获得了不同的值(value)。但是命令函数不接受条件参数(用于过滤)。我不知道如何在要求不同的值时应用相同的过滤器参数。

问题 2: 即使有一种方法可以使用 mongodb::command 函数发送过滤器参数，这个函数将是进程中的另一个查询，并且与我认为以前的查询。这将是另一个速度惩罚。

问题 3: 为了获得不同的 topic_ids 和结果数量将是另一个查询，另一个速度惩罚 :(

我是 MongoDB 的新手。也许我从错误的角度看问题。你能帮我解决问题并给出你的意见关于最快的方法吗:

  • 筛选结果
  • 分页
  • 具有找到的结果数量的不同值

来自一个大数据集。

最佳答案

所以过滤结果和分页的简单方法如下:

$cursor = $lib_collection->find($filter_params, array())
$count = $cursor->count();
$data = $cursor->skip(20)->limit(20);

但是，这种方法可能不是有点低效。如果您查询未索引的字段，服务器“count()”的唯一方法是加载每个文档并检查。如果你执行 skip() 和 limit() 而没有 sort() 那么服务器只需要找到前 20 个匹配的文档，这工作少得多。

每个类别的结果数量会变得更加困难。

如果数据不经常变化，您可能希望使用常规 map/reduce 作业预先计算这些值。否则，您必须运行一系列 distinct() 命令或内联 map/reduce。两者通常都不用于临时查询。

唯一的其他选择基本上是加载所有搜索结果，然后依靠网络服务器(而不是数据库)。显然，这也是低效的。

获得所有这些功能需要一些规划和权衡。

关于php - 带有分页、不同值的 mongo + PHP 的性能问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7237455/

mongophpcodestrongsectionperformancemongodbfilteringdistinct

有关php - 带有分页、不同值的 mongo + PHP 的性能问题的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  4. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  5. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  6. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  7. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  8. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  9. 【高数】用拉格朗日中值定理解决极限问题 - 2

    首先回顾一下拉格朗日定理的内容：函数f(x)是在闭区间[a,b]上连续、开区间(a,b)上可导的函数，那么至少存在一个，使得:通过这个表达式我们可以知道，f(x)是函数的主体，a和b可以看作是主体函数f(x)中所取的两个值。那么可以有，  也就意味着我们可以用来替换 这种替换可以用在求某些多项式差的极限中。方法： 外层函数f(x)是一致的，并且h(x)和g(x)是等价无穷小。此时，利用拉格朗日定理，将原式替换为 ，再进行求解，往往会省去复合函数求极限的很多麻烦。使用要注意：1.要先找到主体函数f(x)，即外层函数必须相同。2.f(x)找到后，复合部分是等价无穷小。3.要满足作差的形式。如果是加

  10. ruby - 使用 `+=` 和 `send` 方法 - 2

    如何将send与+=一起使用？a=20;a.send"+=",10undefinedmethod`+='for20:Fixnuma=20;a+=10=>30 最佳答案 恐怕你不能。+=不是方法，而是语法糖。参见http://www.ruby-doc.org/docs/ProgrammingRuby/html/tut_expressions.html它说Incommonwithmanyotherlanguages,Rubyhasasyntacticshortcut:a=a+2maybewrittenasa+=2.你能做的最好的事情是:

随机推荐