已编辑:按要求添加完整查询。
本质上,我有一张帖子表,一对多地链接到一张转发表,类似于 Twitter。我想加载按转发时间(如果存在)或原始帖子时间排序的帖子。但是,使用单个查询的排序过程非常慢(可能是因为 COALESCE(x, y) 没有充分利用 MySQL 索引)。两个相关表上的时间列都已编入索引。
我的查询看起来像这样。
SELECT * FROM Post p LEFT JOIN p.reposts ON ... WHERE ...
ORDER BY COALESCE(r.time, p.time) LIMIT 0, 10
更准确地说(伪)因为我使用的是 DAL:
SELECT * FROM Post p LEFT JOIN p.reposts repost ON (p.id = repost.post_id AND
repost.time = (
SELECT MIN(r.time) FROM Repost r WHERE p.id = r.post_id
AND r.user_id IN (1, 2, 3...) AND r.user_id NOT IN (4, 5, 6...))
))
WHERE (repost IS NOT NULL OR p.author_id IN (1, 2, 3...))
AND p.author_id NOT IN (4, 5, 6...)
ORDER BY COALESCE(repost.time, p.time) LIMIT 0, 10
在上面,ON 子句确保最多加入一个转发(我想要的那个)。 COALESCE 是必需的,因为如果帖子尚未重新发布,r 可能为 NULL。查询的行为符合预期——当省略 ORDER BY 子句或仅在 p.time 等索引列上使用时速度很快。这是意料之中的,因为 Post 表有 10 万多行。
查询说明
编辑:更好地解释查询应该做什么。值得注意的是这里的逻辑有效——我得到了我想要的数据。问题是应用 ORDER BY 子句会导致查询运行速度慢大约 50 倍,因为 MySQL 无法在连接表上使用带有 COALESCE 的索引。
忽略不同组中用户的帖子和转发(已阻止)
获取帖子:从帖子中选择
更新
我发现:
...ORDER BY repost.time DESC
产生缓慢的结果,除非我也添加:
...WHERE repost.id IS NOT NULL...
在这种情况下查询速度很快。这使我相信真正的问题是对可为空的列索引进行排序。我也试过:
... ORDER BY CASE WHEN repost.id IS NULL p.time ELSE repost.time END DESC
这没有帮助。
更新 2
由于 MySQL 使用 b 树作为其索引,因此似乎不可能以我想要的方式利用索引。因此,我目前最好的想法是将每个原始帖子视为其作者的“转发”,然后在转发表上执行我的选择和排序,例如
SELECT * FROM Repost r LEFT JOIN r.post ON ... WHERE ... ORDER BY r.time DESC
最佳答案
这里的问题正如我在问题的更新 2 中所描述的那样。 MySQL 使用索引来快速执行 ORDER BY 操作。更具体地说,MySQL 使用 B-trees索引列(例如时间戳 - p.time/r.time),它们占用更多空间但允许更快的排序。
我的查询的问题是它按两个表中的时间列排序,如果可用,则使用重新发布表中的时间戳,否则使用发布表。由于 MySQL 无法合并来自两个表的 B 树,因此它无法对来自两个不同表的列执行快速索引排序。
我通过两种方式修改了我的查询和表结构来解决这个问题。
1) 首先根据被阻止的用户执行过滤,因此只需对当前用户可以访问的帖子进行排序。这不是问题的根源,而是实际优化。例如
SELECT * FROM (SELECT * FROM Post p WHERE p.author_id NOT IN (4, 5, 6...))...
2) 将每个帖子都视为其作者的转发,因此每个帖子都保证有一个可连接的转发和 repost.time,用于索引和排序。例如
SELECT * FROM (...) LEFT JOIN p.reposts repost ON (p.id = repost.post_id AND
repost.time = (
SELECT MIN(r.time) FROM Repost r WHERE p.id = r.post_id
AND r.user_id IN (1, 2, 3...) AND r.user_id NOT IN (4, 5, 6...))
))
WHERE (repost.id IS NOT NULL) ORDER BY repost.time DESC LIMIT 0, 10
最终问题归结为 ORDER BY - 这种方法将查询时间从大约 8 秒减少到 20 毫秒。
关于mysql - 在连接表列上优化 ORDER BY COALESCE,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39759514/
我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作),这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以
我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例,但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗? 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055),我们在StackOverflow上找到一个类
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器,我做错了什么? 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame
考虑一下:现在这些情况:#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2我需要用其他字符串输出URL。我如何保证&符号不会被转义?由于我无法控制的原因,我无法发送&。求助!把我的头发拉到这里:\编辑:为了澄清,我实际上有一个像这样的数组:@images=[{:id=>"fooid",:url=>"http://
我看到其他人也遇到过类似的问题,但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录,因为我已经检查过它存在。thread.h文件存在,但不在ruby目录中。相反,它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin
我有一个super简单的脚本,它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d
我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作,比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中,这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi
我有一个ruby脚本可以打开与Apple推送服务器的连接并发送所有待处理的通知。我看不出任何原因,但当Apple断开我的脚本时,我遇到了管道损坏错误。我已经编写了我的脚本来适应这种情况,但我宁愿只是找出它发生的原因,这样我就可以在第一时间避免它。它不会始终根据特定通知断开连接。它不会以特定的字节传输大小断开连接。一切似乎都是零星的。您可以在单个连接上发送的数据传输或有效负载计数是否有某些限制?看到人们的解决方案始终保持一个连接打开,我认为这不是问题所在。我看到连接在3次通知后断开,我看到它在14次通知后断开。我从未见过它能超过14点。有没有人遇到过这种类型的问题?如何处理?
我的意思是之前建立的那个DB=Sequel.sqlite('my_blog.db')或DB=Sequel.connect('postgres://user:password@localhost/my_db')或DB=Sequel.postgres('my_db',:user=>'user',:password=>'password',:host=>'localhost')等等。Sequel::Database类没有名为“disconnect”的公共(public)实例方法,尽管它有一个“connect”。也许有人已经遇到过这个问题。我将不胜感激。 最佳答案