草庐IT

mysql - 在 MySQL 中加载一张表慢得离谱

coder 2023-10-11 原文

为清楚起见，数据库中的所有其他表均按预期工作，并在几分之一秒内加载约 200 万行。只有约 600 行的一张表在 navcat 中加载需要 10 多分钟。

我想不出任何可能的原因。只有 4 列。其中之一是一个大文本字段，但我以前使用过大文本字段，它们从来没有这么慢。

运行 explain select * from parser_queue 我明白了

 id  setect type  table     type  possible keys  key  key len  ref  rows  extra
 1   SIMPLE    parser_queue  ALL  -              -    -        -    658   -

配置文件告诉我 453 秒用于“发送数据” 我也在“状态”选项卡中找到了它。我不明白其中的大部分内容，但这些数字比我的其他表格高得多。 

Bytes_received            31
Bytes_sent                32265951
Com_select                1
Created_tmp_files         16
Handler_read_rnd_next     659
Key_read_requests         9018487
Key_reads                 3928
Key_write_requests        310431
Key_writes                4290
Qcache_hits               135077
Qcache_inserts            14289
Qcache_lowmem_prunes      4133
Qcache_queries_in_cache   983
Questions                 1
Select_scan               1
Table_locks_immediate     31514

文本字段中存储的数据平均约为 12000 个字符。 有一个主要的自动递增 int id 字段、一个 tinyint 状态字段、一个 text 字段和一个 timestamp 带有更新当前时间戳的字段。

好的，我会尝试两个答案，但我可以先快速回答问题:

ID 字段上的主键是唯一键。该表用于排队，每小时添加/删除约 50 条记录，但我昨天才创建它。它会在这么短的时间内损坏吗？

MyISAM

尝试隔离问题的更多工作:

修复表 什么也没做 optimize table 什么都不做 创建了一个临时表。临时表上的查询速度大约慢了 50%。

删除表并重建它。 SELECT * 只需 4 行 就需要 18 秒。

这是我用来创建表的 SQL:

CREATE TABLE IF NOT EXISTS `parser_queue` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `status` tinyint(4) NOT NULL DEFAULT '1',
  `data` text NOT NULL,
  `last_updated` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM;

还是陌生人，在我的本地盒子上一切似乎都很好。缓慢只发生在开发站点上。

为清楚起见:开发站点上有 100 多张表格，这是唯一时髦的。

好的，我已经禁用了所有使用该表的 cron 作业。 SHOW PROCESSLIST 不会显示表上的任何锁。

将引擎更改为 InnoDB 没有产生任何显着的改进(86 秒对 MyISAM 的 94 秒)

还有其他想法吗？ . . .

在查询期间运行 SHOW PROCESSLIST 显示它花费了大部分时间 writing to net

最佳答案

如果您怀疑某处存在腐败，您可以尝试以下其中一项(或两项):

CREATE TABLE temp SELECT * FROM parser_queue;

这将创建一个与前一个表“相同”的新表，只是将重新创建它。或者(或者可能在您制作副本之后)，您可以尝试:

REPAIR TABLE parser_queue;

您可能还想尝试优化表格；它可能会变得支离 splinter ，因为您将它用作队列。

OPTIMIZE TABLE parser_queue;

您可以通过运行 SHOW TABLE STATUS LIKE 'Data_Free' 来确定表是否碎片化，并查看这是否会产生很大的数字。

更新

您说您正在将 gzcompress 数据存储在 TEXT 列中。尝试将 TEXT 列更改为 BLOB，这意味着处理二进制数据，例如压缩文本。

关于mysql - 在 MySQL 中加载一张表慢得离谱，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5843312/

中加离谱codesectionparser_queuemysql

有关mysql - 在 MySQL 中加载一张表慢得离谱的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  3. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  4. ruby-on-rails - 当我通过 rvm 使用 rails3 时，如何在 ubuntu 上安装 mysql2 gem？ - 2

    我正在尝试绕过rails配置这个极其复杂的迷宫。到目前为止，我设法在ubuntu上设置了rvm(出于某种原因，ruby在ubuntu存储库中已经过时了)。我设法建立了一个Rails项目。我希望我的测试项目使用mysql而不是mysqlite。当我尝试“rakedb:migrate”时，出现错误:“!!!缺少mysql2gem。将其添加到您的Gemfile:gem'mysql2'”当我尝试“geminstallmysql”时，出现错误，告诉我需要为安装命令提供参数。但是，参数列表很大，我不知道该选择哪些。如何通过在ubuntu上运行的rvm和mysql获取rails3？谢谢。

  5. ruby - 在类/模块中加载外部文件 - 2

    我有一个外部文件:path_to_external_file.rb带有一些类定义:classAsome_definitionsend我想在模块B中加载它，以便上面定义的类A可以称为B::A。我试过:classBload('path_to_external_file.rb')end但是A是在主环境中定义的，而不是在B中定义的:A#=>AB.constants#=>[]如何在某些类/模块中加载外部文件？编辑我是否应该将外部文件作为字符串读取，并在Class.new{...}中评估它们，然后在B中include该类？ 最佳答案 你不能。至

  6. ruby-on-rails - 使用载波获取gif中的第一张图像 - 2

    我使用载波上传gif效果很好，当我尝试生成拇指版本并将gif转换为jpeg时出现问题，只有gif中的第一张图像作为拇指，我得到一个错误:LocalJumpErrorinImagesController#createnoblockgiven(yield)app/controllers/images_controller.rb:21:in`new'app/controllers/images_controller.rb:21:in`create'请求参数:{"utf8"=>"✓","authenticity_token"=>"lPEjP1WtPxFdizL2/FAWGHzOZPtecb5n

  7. Centos7-yum安装mysql-修改密码-无密码登录-安全配置 - 2

    目录1、yum安装mysql修改密码(1)在mysql里面修改(2)第二种方式，利用mysqladmin修改密码2、没有密码，登录mysql修改密码3、mysql的安全设置1、yum安装mysql在CentOS中默认安装有MariaDB（MySQL的一个分支），安装完成之后可以直接覆盖MariaDB。rpm-qa|grepmariadb查询是否安装了mariadbrpm-e--nodepsmariadb-libs-5.5.60-1.el7_5.x86_64卸载mariadwgethttp://dev.mysql.com/get/mysql57-community-release-el7-11.

  8. ruby - 安装 dm-mysql-adapter 时出错 - 2

    我是Ruby的新手。我安装了DataMapper并且正在尝试安装dm-mysql-adapter-1.0.2gem。但是当我尝试安装时，出现以下错误。我正在使用ubuntu操作系统。vinoth@vinoth-laptop:~/Downloads$geminstalldm-mysql-adapter-1.0.2----with-mysql-lib=/usr/lib/mysql----with-mysql-conf=/usr/bin/mysqlWARNING:Installingto~/.gemsince/home/vinoth/gemsand/home/vinoth/gems/bina

  9. ruby-on-rails - gem 列表中的 mysql2 gem 但获取项目找不到 gem - 2

    我目前正在构建一个需要mysql2gem的RoR项目。我成功安装了gem。因为它出现在我的gem列表中。[root@vc2cmmka035538nsimple_cms]#gemlist***LOCALGEMS***actionmailer(3.2.3)actionpack(3.2.3)activemodel(3.2.3)activerecord(3.2.3)activeresource(3.2.3)activesupport(3.2.14,3.2.3)arel(3.0.2)bigdecimal(1.1.0)builder(3.2.2,3.0.0)bundler(1.1.5)c2c_li

  10. ruby - 如何在 heroku 中使用自己的 mysql 数据库服务器？ - 2

    我想使用托管在我自己服务器上的mysql数据库。我已经更改了DATABASE_URL和SHARED_DATABASE_URL配置变量以指向我的服务器，但它仍在尝试连接到heroku的amazonaws服务器。我该如何解决？ 最佳答案 根据Herokudocumentation，更改DATABASE_URL是正确的方法。Ifyouwouldliketohaveyourrailsapplicationconnecttoanon-Herokuprovideddatabase,youcantakeadvantageofthissamemec

随机推荐