草庐IT

大表连接的mysql查询优化

coder 2023-10-10 原文

我正在为广播电台创建一个报告,该报告生成在线听众的日志,以记录 ip、日期、时间、总用户收听等。

听众表

client_ip        date        time      date_time            listeners  
---------------  ----------  --------  -------------------  -----------
166.147.81.179   2012-04-30  00:19:46  2012-04-30 00:19:46            1
64.12.243.203    2012-04-30  04:38:37  2012-04-30 04:38:37            1
198.228.211.195  2012-04-30  05:36:33  2012-04-30 05:36:33            1
198.228.211.195  2012-04-30  05:36:34  2012-04-30 05:36:34            2
198.228.211.195  2012-04-30  05:36:35  2012-04-30 05:36:35            2
198.228.211.195  2012-04-30  05:36:35  2012-04-30 05:36:35            3
166.147.81.179   2012-04-30  05:47:13  2012-04-30 05:47:13            2
76.170.251.97    2012-04-30  06:01:37  2012-04-30 06:01:37            2
76.170.251.97    2012-04-30  06:01:39  2012-04-30 06:01:39            2
76.170.251.97    2012-04-30  06:01:39  2012-04-30 06:01:39            2

同时它会记录歌曲的详细信息(标题、艺术家、专辑、长度、日期、时间)等。

播放列表表

title                       artist                           length_in_secs  played_date  played_time  start_date_time      end_date_time        
--------------------------  -------------------------------  --------------  -----------  -----------  -------------------  ---------------------
We Found Love               Rihanna                                     184  2012-04-30   00:00:21     2012-04-30 00:00:21  2012-04-30 00:03:25  
Photograph                  Nickelback                                  216  2012-04-30   00:03:31     2012-04-30 00:03:31  2012-04-30 00:07:07  
Not Over You                Gavin DeGraw                                214  2012-04-30   00:07:18     2012-04-30 00:07:18  2012-04-30 00:10:52  
Stereo Hearts               Gym Class Heroes Ft Adam Levine             210  2012-04-30   00:10:55     2012-04-30 00:10:55  2012-04-30 00:14:25  
I Gotta Feeling             Black  Eyed Peas                            243  2012-04-30   00:15:03     2012-04-30 00:15:03  2012-04-30 00:19:06  
One Thing Leads To Another  Fixx                                        182  2012-04-30   00:19:14     2012-04-30 00:19:14  2012-04-30 00:22:16  
Raise Your Glass            Pink                                        202  2012-04-30   00:22:29     2012-04-30 00:22:29  2012-04-30 00:25:51  
Better In Time              Leona Lewis                                 216  2012-04-30   00:30:13     2012-04-30 00:30:13  2012-04-30 00:33:49  
Tainted Love                Soft Cell                                   153  2012-04-30   00:33:56     2012-04-30 00:33:56  2012-04-30 00:36:29  
Haven't Met You Yet         Michael Buble'                              242  2012-04-30   00:37:14     2012-04-30 00:37:14  2012-04-30 00:41:16  

因此,报告要求是“有多少用户在日期或日期范围内收听歌曲”,我这样写查询。它给出了正确的输出(据我所知),但查询执行所花费的时间与数据大小不成比例 - 从 5 秒到 5-10 分钟不等,具体取决于日期范围。

SELECT DATE_FORMAT(p.played_date, "%m/%d/%Y") `played_date`, p.played_time, p.length_in_secs, p.title, p.artist, RTRIM(p.label) `label`, RTRIM(p.album) `album`, IFNULL((SELECT SUM(l.listeners) FROM listeners `l` WHERE l.date_time >= p.start_date_time AND l.date_time <= p.end_date_time LIMIT 1), 0) `listeners` FROM playlists `p` WHERE p.title <> "" AND (p.played_date >= '2012-04-30' AND p.played_date <= '2012-05-30') HAVING listeners > 0 ORDER BY p.title ASC;
// formatted //
SELECT 
    DATE_FORMAT(p.played_date, "%m/%d/%Y") `played_date`,
    p.played_time,
    p.length_in_secs,
    p.title,
    p.artist,
    RTRIM(p.label) `label`,
    RTRIM(p.album) `album`,
    IFNULL(
        (SELECT 
            SUM(l.listeners) 
        FROM
            listeners `l` 
        WHERE l.date_time >= p.start_date_time 
            AND l.date_time <= p.end_date_time 
        LIMIT 1),
        0
    ) `listeners` 
FROM
    playlists `p` 
WHERE p.title <> "" 
    AND (
        p.played_date >= '2012-04-30' 
        AND p.played_date <= '2012-05-30'
    ) 
HAVING listeners > 0 
ORDER BY p.title ASC

输出:

played_date  played_time  length_in_secs  title                  artist                    label               album               listeners  
-----------  -----------  --------------  ---------------------  ------------------------  ------------------  ------------------  -----------
04/30/2012   08:06:26                228  Brighter Than The Sun  Colbie Caillat (Cal-Lay)  Universal Republic  All of You                    9

04/30/2012   08:44:16                248  Breakfast At Tiffanys  Deep Blue Something                                                         6

04/30/2012   18:06:40                253  Bizarre Love Triangle  New Order                                                                   2

04/30/2012   17:05:21                183  Animal                 Neon Trees                Mercury             Habits                        5

04/30/2012   08:58:05                253  Always Be My Baby      Mariah Carey                                                                2

04/30/2012   07:25:52                264  Already Gone           Kelly Clarkson            RCA                 All I Ever Wante              3

04/30/2012   16:21:33                236  All The Right Moves    One Republic              Interscope          Waking Up                     7

04/30/2012   11:58:26                199  All That She Wants     Ace Of Base                                                                12

04/30/2012   11:14:17                247  All I Wanna Do         Sheryl Crow                                                                 2

04/30/2012   16:12:59                235  A Thousand Miles       Vanessa Carlton                                                             5

有没有办法优化此查询以使其运行得更快,或者编写一个新的、更快的查询?请建议/帮助我。谢谢!!

使用解释

EXPLAIN playlists;


Field            Type              Null    Key     Default            Extra                        
---------------  ----------------  ------  ------  -----------------  -----------------------------
playlist_id      int(10) unsigned  NO      PRI     (NULL)             auto_increment               
title            varchar(255)      YES             (NULL)                                          
artist           varchar(255)      YES             (NULL)                                          
label            varchar(255)      YES             (NULL)                                          
album            varchar(255)      YES             (NULL)                                          
length_in_secs   int(11)           NO              (NULL)                                          
played_date      date              NO              (NULL)                                          
played_time      time              NO              (NULL)                                          
start_date_time  datetime          NO              (NULL)                                          
end_date_time    datetime          NO              (NULL)                                          
added_date       datetime          NO              (NULL)                                          
modified_date    timestamp         NO              CURRENT_TIMESTAMP  on update CURRENT_TIMESTAMP


EXPLAIN listeners;


Field          Type                 Null    Key     Default            Extra                        
-------------  -------------------  ------  ------  -----------------  -----------------------------
listener_id    bigint(20) unsigned  NO      PRI     (NULL)             auto_increment               
station_id     int(10) unsigned     NO              (NULL)                                          
client_ip      varchar(50)          NO              (NULL)                                          
time           time                 NO              (NULL)                                          
date           date                 NO              (NULL)                                          
date_time      datetime             YES             (NULL)                                          
timestamp      bigint(20) unsigned  NO              (NULL)                                          
listeners      int(10) unsigned     NO              (NULL)                                          
processes      int(10) unsigned     NO              (NULL)                                          
uid            int(10) unsigned     NO              (NULL)                                          
user_agent     varchar(255)         YES             (NULL)                                          
added_date     datetime             NO              (NULL)                                          
modified_date  timestamp            NO              CURRENT_TIMESTAMP  on update CURRENT_TIMESTAMP  

最佳答案

使用 INNER JOIN 而不是使用 correlated subquery 作为:

SELECT DATE_FORMAT(p.played_date, "%m/%d/%Y") played_date,
       p.played_time,
       p.length_in_secs,
       p.title,
       p.artist,
       RTRIM(p.label) label,
       RTRIM(p.album) album,
       SUM(l.listeners) listeners
FROM playlists p
     INNER JOIN listeners l
         ON l.date_time BETWEEN p.start_date_time AND p.end_date_time
WHERE p.title <> "" AND
      p.played_date BETWEEN '2012-04-30' AND  '2012-05-30'
ORDER BY p.title ASC;

考虑在表上添加以下索引可能会帮助您提高查询性能。使用 EXPLAIN 检查以下索引:

playlists KEY (played_date, start_date_time, end_date_time, title);

listeners KEY (date_time, listeners);

关于大表连接的mysql查询优化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11802624/

有关大表连接的mysql查询优化的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby - 续集在添加关联时访问many_to_many连接表 - 2

    我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作),这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以

  3. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  4. ruby - 无法在 60 秒内获得稳定的 Firefox 连接 (127.0.0.1 :7055) - 2

    我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例,但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗? 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055),我们在StackOverflow上找到一个类

  5. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  6. sql - 查询忽略时间戳日期的时间范围 - 2

    我正在尝试查询我的Rails数据库(Postgres)中的购买表,我想查询时间范围。例如,我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列,但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时

  7. ruby - 我的 Ruby IRC 机器人没有连接到 IRC 服务器。我究竟做错了什么? - 2

    require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器,我做错了什么? 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame

  8. ruby-on-rails - 连接字符串时如何在 <%=%> block 内输出 html_safe? - 2

    考虑一下:现在这些情况:#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2#output:http://domain.com/?foo=1&bar=2我需要用其他字符串输出URL。我如何保证&符号不会被转义?由于我无法控制的原因,我无法发送&。求助!把我的头发拉到这里:\编辑:为了澄清,我实际上有一个像这样的数组:@images=[{:id=>"fooid",:url=>"http://

  9. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题,但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录,因为我已经检查过它存在。thread.h文件存在,但不在ruby​​目录中。相反,它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  10. ruby - Faye WebSocket,关闭处理程序被触发后重新连接到套接字 - 2

    我有一个super简单的脚本,它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d

随机推荐