草庐IT

mysql - 如何在不挂起 MySQL 进程的情况下删除 innodb_file_per_table=1 的 1000 多个数据库?

coder 2023-10-09 原文

我们有一个循环过程,我们希望并且需要清理我们的数据库。每个客户或潜在客户都有自己的数据库(有 300 个表,并且每个月都在增加),该数据库会在几秒钟内启动,并植入一些基本数据。

几个月后,需要清理数据库。我们只需为每个数据库调用 DROP DATABASE customer_1(让 MySQL 服务器在每个语句之间有 10 秒的时间“休息”),然后调用 DROP USER 'customer_1'@'127.0.0.1').

每隔一段时间,整个数据库就会挂起。 SHOW PROCESSLIST 给出

Id     User       Command    Time    State         Info
[pid]  adm-user   Query      300     System lock   DROP DATABASE `customer_1`

不会完成任何新查询。杀死相关查询 pid 将导致 Command=Killing,仅此而已。什么都没发生。 MySQL 守护进程也无法停止,因为它仍在等待完成查询。

我们关闭了整个服务器,重新启动它,让 MySQL 进行自动崩溃恢复,效果很好。之后,我们可以删除另外 10-30 个数据库,然后这个事件会自己重复。

我们已经阅读了大量有关该主题的资料,包括但不限于:

似乎共识是,是的,是 MySQL 在表(空间)上使用了全局互斥锁,并结合了较大的缓冲池大小。

我们的my.cnf:

innodb_file_per_table   = 1
innodb_buffer_pool_size = 9G
innodb_log_file_size    = 256M
innodb_flush_method     = O_DIRECT
table_open_cache        = 200000
table_definition_cache  = 110000
innodb_flush_log_at_trx_commit = 2

有什么方法可以让我们负责任地删除数据库——即,不让服务器因其他潜在客户而停机?

我读过,简单地删除所有表文件就可以,然后删除数据库,其中 MySQL 应该简单地删除对数据库的引用。

最佳答案

您应该做的一件重要事情是为您的 MySQL 数据目录使用 XFS 文件系统。

将大文件拖放到 ext3 文件系统上会花费太多时间,您无疑会在所链接的 Percona 博客中看到这一点。使用 XFS 可以更快地删除大文件,因此全局互斥锁的保留时间更短。

我还会一次删除一个表,以进一步减少持有互斥锁的时间。然后在删除所有表后,删除数据库。

MySQL 中的数据库根本不是物理对象。它是 MySQL datadir 的一个子目录,以及一个名为 db.opt 的小文件,它存储数据库的一些属性,比如它的默认字符集(这在 MySQL 8.0 中甚至不再是一个单独的文件)。删除所有表后,删除数据库本身就很简单了。

另一个建议是先删除客户的 MySQL 用户,然后让 MySQL 运行几个小时,直到该客户的表中的数据不再缓存在缓冲池中。当您删除一个大表时,MySQL 必须扫描缓冲池以释放属于该表的页面。缓冲池越大,所需的时间越长。因此,如果让该客户表的页面过期并离开缓冲池,则可以将这种影响降至最低。这可能需要一些时间,因为它更多地是由对其他表的需求驱动的。除了删除表之外,没有什么好的方法可以强制表的页面离开缓冲池。

我已经在某些环境中做到了。将“DROP TABLE”请求发送到 RENAME TABLE 中,以将表移动到另一个用户无权访问的模式中。然后周期性地运行一个脚本来真正删除那些已经在那个 holding pen 中超过 7 天的表。当来自其他表的数据取代它们时,这为页面逐渐从缓冲池中逐出提供了时间。此外,它还为用户提供了一个宽限期,让他们可以在决定放弃需要的表时改变主意。

关于mysql - 如何在不挂起 MySQL 进程的情况下删除 innodb_file_per_table=1 的 1000 多个数据库?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54648996/

有关mysql - 如何在不挂起 MySQL 进程的情况下删除 innodb_file_per_table=1 的 1000 多个数据库?的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  4. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe? - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗?我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe,无需等待进程完成是否有任何ruby​​gems会支持我的问题? 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  7. ruby - 默认情况下使选项为 false - 2

    这是在Ruby中设置默认值的常用方法:classQuietByDefaultdefinitialize(opts={})@verbose=opts[:verbose]endend这是一个容易落入的陷阱:classVerboseNoMatterWhatdefinitialize(opts={})@verbose=opts[:verbose]||trueendend正确的做法是:classVerboseByDefaultdefinitialize(opts={})@verbose=opts.include?(:verbose)?opts[:verbose]:trueendend编写Verb

  8. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  9. ruby - 通过 ruby​​ 进程共享变量 - 2

    我正在编写一个gem,我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器,因为应该只有这两个服务器在运行,而不是多个。在运行时,我想调用这两个服务器上的一些方法来更改变量。我的问题是,我无法通过基类的类方法访问fork的实例变量。此外,我不能在我的基类中使用线程,因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了,比如@@server。但是当我试图通过基类访问这个变量时,它是nil。我读到在Ruby中不可能在分支之间共享类变量,对吗?那么,还有其他解决办法吗?我考虑过使用单例,但我不确定这是

  10. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式? - 2

    我正在为一个项目制作一个简单的shell,我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止,我一直在使用CSV::parse_line,将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

随机推荐