草庐IT

mysql - MySQL中延迟连接的作用

coder 2023-10-02 原文

我正在阅读高性能 MySQL，我对延迟连接有点困惑。

书上说下面的操作不能通过index(sex, rating)来优化，因为高offset要求他们花费大部分时间扫描大量数据，然后他们会丢弃这些数据。

mysql> SELECT <cols> FROM profiles WHERE sex='M' ORDER BY rating LIMIT 100000, 10;

虽然延迟连接有助于最大限度地减少 MySQL 必须收集的数据的工作量，但它只会丢弃这些数据。

  SELECT <cols> FROM profiles INNER JOIN (
  SELECT <primary key cols> FROM profiles
  WHERE x.sex='M' ORDER BY rating LIMIT 100000, 10
  ) AS x USING(<primary key cols>);

为什么延迟连接会最大限度地减少收集的数据量。

最佳答案

您提供的示例假定使用了 InnoDB。假设 PRIMARY KEY只是id .

INDEX(sex, rating)

是“辅助键”。每个辅助键(在 InnoDB 中)都隐含地包含 PK，所以它实际上是一个有序列表 (sex, rating, id)值。要获取“数据”( <cols> )，它使用 id向下钻取 PK BTree(也包含数据)以查找记录。

快速案例:因此，

SELECT id FROM profiles
    WHERE x.sex='M' ORDER BY rating LIMIT 100000, 10

将对索引中的 100010 个“行”进行“范围扫描”。这对于 I/O 来说非常有效，因为所有信息都是连续的，没有任何浪费。 (不，跳过 100000 行还不够聪明；那会非常困惑，尤其是当您考虑 transaction_isolation_mode 时。)这 100010 行可能适合索引的大约 1000 个 block 。然后它得到 id 的 10 个值.

有了这 10 个 ID，它可以进行 10 次连接(“NLJ”=“嵌套循环连接”)。这 10 行很可能分散在表格周围，可能需要 10 次磁盘访问。

让我们“计算磁盘命中数”(忽略 BTrees 中的非叶节点，它们可能无论如何都被缓存):1000 + 10 = 1010。在普通磁盘上，这可能需要 10 秒。

Slow Case:现在让我们看看原始查询 (SELECT <cols> FROM profiles WHERE sex='M' ORDER BY rating LIMIT 100000, 10;)。让我们继续假设 INDEX(sex, rating)加上隐式 id最后。

和以前一样，它将索引扫描 100010 行(估计 1000 次磁盘命中)。但事实上，做上面所做的事情太愚蠢了。它将进入数据以获取 <cols> .这通常(取决于缓存)需要随机磁盘命中。这可能超过 100010 次磁盘命中(如果表很大并且缓存不是很有用)。

再次抛出 100000 个，交付 10 个。总“成本”:100010 次磁盘命中(最坏情况)，可能需要 17 分钟。

请记住，高性能 MySQL 有 3 个版本；它们是在过去 13 年左右的时间里写成的。您可能使用的 MySQL 版本比他们介绍的要新得多。我不知道优化器是否在这方面变得更聪明了。这些，如果对你可用，可能会提供线索:

EXPLAIN FORMAT=JSON SELECT ...;
OPTIMIZER TRACE...

我最喜欢的“处理程序”技巧可能有助于研究事物的工作原理:

FLUSH STATUS;
SELECT ...
SHOW SESSION STATUS LIKE 'Handler%'.

您可能会看到像 100000 和 10 这样的数字，或者它们的小倍数。但是，请记住，索引的快速范围扫描计为每行 1 次，对于 <cols> 的大集合，慢速随机磁盘命中也是如此。 .

概述:要使这项技术发挥作用，子查询需要一个“覆盖”索引，并且列的顺序正确。

“覆盖”是指(sex, rating, id)包含所有触及的列。 (我们假设 <cols> 包含其他列，可能是那些在 INDEX 中不起作用的大列。)

列的“正确”排序:列的顺序恰到好处，可以顺利完成查询。 (另见 my cookbook。)

  • 先到先得WHERE列与 = 相比到常量。 ( sex )
  • 然后是整个ORDER BY ， 为了。 ( rating )
  • 最后是“覆盖”。 ( id )

关于mysql - MySQL中延迟连接的作用，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31555154/

mysqlcoderatingsectiondatabaseindexing

有关mysql - MySQL中延迟连接的作用的更多相关文章

  1. ruby - 续集在添加关联时访问many_to_many连接表 - 2

    我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作)，这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以

  2. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

  3. ruby - 无法在 60 秒内获得稳定的 Firefox 连接 (127.0.0.1 :7055) - 2

    我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例，但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗？ 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)，我们在StackOverflow上找到一个类

  4. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  5. ruby - 我的 Ruby IRC 机器人没有连接到 IRC 服务器。我究竟做错了什么？ - 2

    require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器，我做错了什么？ 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame

  6. ruby-on-rails - 在所有延迟的作业之前 Hook - 2

    是否可以在所有delayed_job任务之前运行一个方法？基本上，我们试图确保每个运行delayed_job的服务器都有我们代码的最新实例，所以我们想运行一个方法来在每个作业运行之前检查它。(我们已经有了“check”方法并在别处使用它。问题只是关于如何从delayed_job中调用它。) 最佳答案 现在有一种官方方法可以通过插件来做到这一点。这篇博文通过示例清楚地描述了如何执行此操作http://www.salsify.com/blog/delayed-jobs-callbacks-and-hooks-in-rails(本文中描述

  7. ruby-on-rails - "assigns"在 Ruby on Rails 中有什么作用？ - 2

    我目前正在尝试学习RubyonRails和测试框架RSpec。assigns在此RSpec测试中做什么？describe"GETindex"doit"assignsallmymodelas@mymodel"domymodel=Factory(:mymodel)get:indexassigns(:mymodels).shouldeq([mymodel])endend 最佳答案 assigns只是检查您在Controller中设置的实例变量的值。这里检查@mymodels。 关于ruby-o

  8. ruby-on-rails - 连接字符串时如何在 <%=%> block 内输出 html_safe？ - 2

    考虑一下:现在这些情况:#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2我需要用其他字符串输出URL。我如何保证＆符号不会被转义？由于我无法控制的原因，我无法发送&。求助!把我的头发拉到这里:\编辑:为了澄清，我实际上有一个像这样的数组:@images=[{:id=>"fooid",:url=>"http://

  9. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  10. ruby - Faye WebSocket，关闭处理程序被触发后重新连接到套接字 - 2

    我有一个super简单的脚本，它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d

随机推荐