草庐IT

mysql - 慢速SQL查询的特征

coder 2023-10-15 原文

最近在一次采访中被问到为什么对MySQL数据库进行SELECT查询会真的很慢,并提出了以下内容:

  • 在选择的
  • 上执行多个JOIN
  • 关键过滤器字段上没有索引(索引?)

  • 还被问到解决问题的方法,我说:
  • 如果查询非常重要,请对数据进行非规范化(我知道
    这会导致数据重复,但是还有另一种方法可以避免JOIN s?)
  • 将索引添加到过滤列。

  • 关于为什么SQL查询效率低下还有其他特征吗?请注意,我纯粹是在寻找有关如何加快查询速度的提示,因此请假定数据库服务器是完美无缺的:-)

    最佳答案

    有几个原因可能会使查询变慢。无论如何,要真正了解查询计划程序的工作,应在其上运行explain。大多数DBMS上的explain命令将告诉您查询计划者将使用什么索引,可以预期获得多少行数据,以及在开始返回结果之前需要处理多少行数据。

    现在,要给出查询运行缓慢的一些特定原因,您对索引是正确的。缺少索引将导致对查询中的表进行顺序扫描,如果这些表很大,则会使速度变慢。在要连接的列上创建索引或在where子句中使用绝对有帮助。但是有时候查询计划器做得不好,您需要使用“force”命令来帮助它指出应该使用哪个索引。

    误解是加入会减慢速度。单级联接通常很好。例如,您从表A中选择数据,并且将B连接到A,将C连接到A。表B和C的连接是一级连接。多级联接需要更多时间来处理。因此,在数据仓库和数据集市中,人们喜欢使用星型方案。那是一个包含度量的事实的大表,一个事实表,该查询正在执行,还有其他具有描述性数据的表,即维度表,都已加入其中。星型模式避免了多级联接,因此可以快速执行报告查询。

    对表进行非规范化很诱人,但我强烈建议您反对。当您开始对数据库进行非规范化时,如果您要存储的数据量越来越大,扩展性问题,您将遇到一些严重的麻烦。同样,维护非规范化表也需要工程师对模式有非常好的了解,从而使技术难度更大。当然,这是短期的收获,但长期的痛苦意味着您必须有一个很好的理由去做。做一些需要扩展的多年项目,您将真正看到非规范化的痛苦。

    现在,根据您的需求,通常最好使用生产数据库中的数据来构建和更新独立的报表数据库,数据集市或数据仓库。这为您提供了更多自由来设计真正支持您要运行的报表查询的架构,并阻止了您入侵生产数据库。

    如果您缺乏资源,可以使用临时表代替单独的数据库。临时表是在数据库连接/ session 的生存期内存在的表。其他连接/ session 无法查看或访问它,隔离质量,您可以使用它们来存储和索引要在更大,更复杂的查询中使用的数据。如果通过控制台与数据库进行交互,则使用起来非常简单。如果您以编程方式使用一个并有一个连接池,那么我认为您可能需要在完成后删除该表。不太记得,但是清理从来都不是坏事。

    查询缓慢的一个明显原因是您正在选择大量数据。如果您尝试交叉连接多个表,每个表都有几亿行的chars(1000)字段,则DBMS可能会开始挖掘虚拟内存以执行连接。即使使用索引,也可能导致磁盘交换,一旦开始发生,欢迎来到slowville。

    选择子选择(select a, b, (select c, d from e where e.id = a) from f)或在where子句中使用一个子选择也可能真的很慢,因为该子选择实际上是针对每行数据执行的查询。但是,在联接中使用子选择不会受到该问题的困扰,实际上,您实际上是在没有索引的情况下联接到临时表,并且取决于您通过该子选择检索的数据量,这也会使速度变慢。

    如果您的设置很大,那么in命令也可能会出现问题。同样,大型集合基本上是没有索引的大型临时表,因此,每次检查以查看集合中是否有特定值时,都在执行顺序扫描。

    这些是我现在能想到的最明显的原因。还有其他一些,但是我认为这超出了堆栈溢出响应的范围;-)

    关于mysql - 慢速SQL查询的特征,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8309773/

    有关mysql - 慢速SQL查询的特征的更多相关文章

    1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

      我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

    2. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

      我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

    3. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

      我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

    4. 使用canal同步MySQL数据到ES - 2

      文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

    5. Hive SQL 五大经典面试题 - 2

      目录第1题连续问题分析:解法:第2题分组问题分析:解法:第3题间隔连续问题分析:解法:第4题打折日期交叉问题分析:解法:第5题同时在线问题分析:解法:第1题连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量iddtlowcarbon10012021-12-1212310022021-12-124510012021-12-134310012021-12-134510012021-12-132310022021-12-144510012021-12-1423010022021-12-154510012021-12-1523.......找出连续3天及以上减少碳排放量在100以上的用户分析:遇到这类

    6. sql - 查询忽略时间戳日期的时间范围 - 2

      我正在尝试查询我的Rails数据库(Postgres)中的购买表,我想查询时间范围。例如,我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列,但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时

    7. ruby - cucumber 特征和步骤定义 - 2

      我是Cucumber测试的新手。我创建了两个特征文件:events.featurepartner.feature并将我的步骤定义放在step_definitions文件夹中:./step_definitions/events.rbpartner.rbCucumber似乎在所有.rb文件中查找步骤信息。有没有办法限制该功能查看特定的步骤定义文件?我之所以要这样做,是因为即使我使用了--guess标志,我也会遇到不明确的匹配错误。我之所以要这样做,有以下几个原因。我正在测试CMS,并希望在不同的功能中测试每种不同的内容类型(事件和合作伙伴)。事件.特征Feature:AddpartnerA

    8. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

      我看到其他人也遇到过类似的问题,但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录,因为我已经检查过它存在。thread.h文件存在,但不在ruby​​目录中。相反,它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

    9. ruby-on-rails - solr 清理查询 - 2

      我在Rails上使用带有ruby​​的solr。一切正常,我只需要知道是否有任何现有代码来清理用户输入,比如以?开头的查询。或* 最佳答案 我不知道执行此操作的任何代码,但理论上可以通过查看parsingcodeinLucene来完成并搜索thrownewParseException(只有16个匹配!)。在实践中,我认为您最好只捕获代码中的任何solr异常并显示“无效查询”消息或类似信息。编辑:这里有几个“sanitizer”:http://pivotallabs.com/users/zach/blog/articles/937-s

    10. ruby-on-rails - Rails 3 在一个查询中包含多个表 - 2

      我正在为锦标赛开发一个Rails应用程序。我在这个查询中使用了三个模型:classPlayertruehas_and_belongs_to_many:tournamentsclassTournament:destroyclassPlayerMatch"Player",:foreign_key=>"player_one"belongs_to:player_two,:class_name=>"Player",:foreign_key=>"player_two"在tournaments_controller的显示操作中,我调用以下查询:Tournament.where(:id=>params

    随机推荐