草庐IT

mysql - 构造二维 MySQL 查询的最有效方法是什么?

coder 2023-10-11 原文

我有一个包含以下表和字段的 MySQL 数据库:

  • 学生 (id)
  • 类(id)
  • 年级(id、student_id、class_id、年级)

学生表和类(class)表在 id(主键)上建立索引。成绩表以 id(主键)和 student_id、class_id 和成绩为索引。

我需要构建一个查询,在给定类(class) ID 的情况下,给出所有其他类(class)的列表以及在其他类(class)中得分更高的学生人数。

基本上,给定成绩表中的以下数据:

student_id | class_id | grade
--------------------------------------
1          | 1        | 87
1          | 2        | 91
1          | 3        | 75
2          | 1        | 68
2          | 2        | 95
2          | 3        | 84
3          | 1        | 76
3          | 2        | 88
3          | 3        | 71

用类 ID 1 查询应该产生:

class_id | total
-------------------
2        | 3
3        | 1

理想情况下,我希望它能在几秒钟内执行,因为我希望它成为网络界面的一部分。

我遇到的问题是,在我的数据库中,我有超过 1300 个类(class)和 160,000 名学生。我的成绩表有将近 1500 万行,因此,查询需要很长时间才能执行。

这是我到目前为止尝试过的以及每个查询所用的时间:

-- I manually stopped execution after 2 hours
SELECT    c.id, COUNT(*) AS total
FROM      classes c
              INNER JOIN grades a ON a.class_id = c.id
              INNER JOIN grades b ON b.grade < a.grade AND
                  a.student_id = b.student_id AND
                  b.class_id = 1
WHERE     c.id != 1 AND
GROUP BY  c.id

-- I manually stopped execution after 20 minutes
SELECT    c.id,
          (
              SELECT    COUNT(*) 
              FROM      grades g 
              WHERE     g.class_id = c.id AND g.grade > (
                            SELECT   grade 
                            FROM     grades 
                            WHERE    student_id = g.student_id AND 
                                     class_id = 1
                        )
          ) AS total
FROM      classes c
WHERE     c.id != 1;

-- 1 min 12 sec
CREATE TEMPORARY TABLE temp_blah (student_id INT(11) PRIMARY KEY, grade INT);
INSERT INTO temp_blah SELECT student_id, grade FROM grades WHERE class_id = 1;
SELECT    o.id,
          ( 
              SELECT    COUNT(*)
              FROM      grades g
                            INNER JOIN temp_blah t ON g.student_id = t.student_id
              WHERE     g.class_id = c.id AND t.grade < g.grade
          ) AS total
FROM      classes c
WHERE     c.id != 1;

-- Same thing but with joins instead of a subquery - 1 min 54 sec
SELECT    c.id,
          COUNT(*) AS total
FROM      classes c
              INNER JOIN grades g ON c.id = p.class_id
              INNER JOIN temp_blah t ON g.student_id = t.student_id
WHERE     c.id != 1
GROUP BY  c.id;

我还考虑过创建一个二维表,以学生为行,以类(class)为列,但是我发现了两个问题:

  • MySQL 实现了最大列数 (4096) 和最大行大小(以字节为单位),此方法可能会超过此值
  • 我想不出查询该结构以获得我需要的结果的好方法

我还考虑过将这些计算作为后台作业执行并将结果存储在某处,但为了使信息保持最新(必须),每次创建或更新学生、类(class)或成绩记录时都需要重新计算它们。

有人知道构造此查询的更有效方法吗?

编辑:创建表语句:

CREATE TABLE `classes` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1331 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci$$

CREATE TABLE `students` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=160803 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci$$

CREATE TABLE `grades` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `student_id` int(11) DEFAULT NULL,
  `class_id` int(11) DEFAULT NULL,
  `grade` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `index_grades_on_student_id` (`student_id`),
  KEY `index_grades_on_class_id` (`class_id`),
  KEY `index_grades_on_grade` (`grade`)
) ENGINE=InnoDB AUTO_INCREMENT=15507698 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci$$

最有效查询(1 分 12 秒)的解释输出:

id | select_type        | table | type   | possible_keys                                                             | key                      | key_len | ref               | rows   | extra 
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1  | PRIMARY            | c     | range  | PRIMARY                                                                   | PRIMARY                  | 4       |                   | 683    | Using where; Using index
2  | DEPENDENT SUBQUERY | g     | ref    | index_grades_on_student_id,index_grades_on_class_id,index_grades_on_grade | index_grades_on_class_id | 5       | mydb.c.id         | 830393 | Using where
2  | DEPENDENT SUBQUERY | t     | eq_ref | PRIMARY                                                                   | PRIMARY                  | 4       | mydb.g.student_id | 1      | Using where

另一个编辑 - 解释 sgeddes 建议的输出:

+----+-------------+------------+--------+---------------+------+---------+------+----------+----------------------------------------------+
| id | select_type | table      | type   | possible_keys | key  | key_len | ref  | rows     | Extra                                        |
+----+-------------+------------+--------+---------------+------+---------+------+----------+----------------------------------------------+
|  1 | PRIMARY     | <derived2> | ALL    | NULL          | NULL | NULL    | NULL | 14953992 | Using where; Using temporary; Using filesort |
|  2 | DERIVED     | <derived3> | system | NULL          | NULL | NULL    | NULL |        1 | Using filesort                               |
|  2 | DERIVED     | G          | ALL    | NULL          | NULL | NULL    | NULL | 15115388 |                                              |
|  3 | DERIVED     | NULL       | NULL   | NULL          | NULL | NULL    | NULL |     NULL | No tables used                               |
+----+-------------+------------+--------+---------------+------+---------+------+----------+----------------------------------------------+

最佳答案

我认为这对使用 SUMCASE 的你应该有效:

SELECT C.Id,
  SUM(
    CASE 
    WHEN G.Grade > C2.Grade THEN 1 ELSE 0 
    END
  ) 
FROM Class C
  INNER JOIN Grade G ON C.Id = G.Class_Id
  LEFT JOIN (
      SELECT Grade, Student_Id, Class_Id
      FROM Class
        JOIN Grade ON Class.Id = Grade.Class_Id
      WHERE Class.Id = 1
    ) C2 ON G.Student_Id = C2.Student_Id
WHERE C.Id <> 1
GROUP BY C.Id

Sample Fiddle Demo

--编辑--

针对您的评论,这是另一种应该更快的尝试:

SELECT 
  Class_Id, 
  SUM(CASE WHEN Grade > minGrade THEN 1 ELSE 0 END)
FROM 
(
  SELECT 
    Student_Id,
    @classToCheck:=
      IF(G.Class_Id = 1, Grade, @classToCheck) minGrade ,
    Class_Id,
    Grade
  FROM Grade G
    JOIN (SELECT @classToCheck:= 0) t
  ORDER BY Student_Id, IF(Class_Id = 1, 0, 1)
  ) t
WHERE  Class_Id <> 1
GROUP BY Class_ID

more sample fiddle .

关于mysql - 构造二维 MySQL 查询的最有效方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15036871/

有关mysql - 构造二维 MySQL 查询的最有效方法是什么?的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点,但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter,它工作正常,但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件,它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  5. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  6. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  7. Ruby 方法() 方法 - 2

    我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索,但这不是我需要的。我也看过ruby​​-doc.org,但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗?更新我用methods()方法做了实验,得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco

  8. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  9. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  10. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996?但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

随机推荐