草庐IT

mysql - 有没有办法限制 Mysql 表的索引以便整体性能不受影响？

coder 2023-06-11 原文

我需要将一个大型数据集加载到生产数据库中。

需要分别上传 15 个文件并插入到表格中。 每个大约 500 Mb。

我有两个需要索引的 ID 列。 如果我加载带有索引的文件，上传大约需要 3 个小时。 如果我删除索引，加载数据本地 infile，然后重新添加索引，整个操作大约需要 30 分钟。

问题是，在索引新导入的数据时，数据库响应能力受到很大影响。有没有办法让索引以“低优先级”运行，以便其他查询仍然获得 95-100% 的速度，并且索引类型在后台运行？

我正在使用 Amazon RDS，因此我无法选择仅在不同的服务器上加载然后复制表格文件。

为此添加赏金，因为我仍然想看看是否有办法在对特定框进行索引时获得良好的性能。

最佳答案

嗯，我从来没有找到一种方法来 throttle ，但我确实找到了一种方法来缓解我的问题。 该解决方案对我的问题来说是独一无二的，但我会发布它以防其他人发现它有用。

我写了一个名为 CautiousIndexer 的类。

  1. 首先，我存储了创建表语句以重新创建没有索引的表结构。我存储了一组读取从属数据库，遍历它们，将包含未索引数据的表重命名为 prevent_indexing_($name)。
  2. 然后我只在从服务器上运行创建表语句。这有效地将数据移出了可能在 master 上发生的索引语句。
  3. 然后我对主服务器运行了索引查询。读取从属服务器在主服务器索引时没有性能影响，因为新创建的表是空的。
  4. 当主服务器完成索引时，我将 1 个从服务器从生产轮换中取出，删除空表，将完整的表移回原位，然后在停止生产的从服务器上为表建立索引。
  5. 完成后，我将其重新投入生产并对剩余的从站重复从站索引过程。
  6. 当所有从站都被索引后，我将表投入生产。

这在效率方面仍然很好，但在主服务器上的索引期间写入性能慢得令人无法接受。仍在寻找一种通过 throttle 建立索引的方法。

关于mysql - 有没有办法限制 Mysql 表的索引以便整体性能不受影响？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5943917/

整体性mysqlstrongsection表语indexingthrottling

有关mysql - 有没有办法限制 Mysql 表的索引以便整体性能不受影响？的更多相关文章

  1. ruby-on-rails - 添加回形针新样式不影响旧上传的图像 - 2

    我有带有Logo图像的公司模型has_attached_file:logo我用他们的Logo创建了许多公司。现在，我需要添加新样式has_attached_file:logo,:styles=>{:small=>"30x15>",:medium=>"155x85>"}我是否应该重新上传所有旧数据以重新生成新样式？我不这么认为……或者有什么rake任务可以重新生成样式吗？ 最佳答案 参见Thumbnail-Generation.如果rake任务不适合你，你应该能够在控制台中使用一个片段来调用重新处理!关于相关公司

  2. ruby-on-rails - 有没有办法为 CarrierWave/Fog 设置上传进度指示器？ - 2

    我在Rails应用程序中使用CarrierWave/Fog将视频上传到AmazonS3。有没有办法判断上传的进度，让我可以显示上传进度如何？ 最佳答案 CarrierWave和Fog本身没有这种功能；你需要一个前端uploader来显示进度。当我不得不解决这个问题时，我使用了jQueryfileupload因为我的堆栈中已经有jQuery。甚至还有apostonCarrierWaveintegration因此您只需按照那里的说明操作即可获得适用于您的应用的进度条。 关于ruby-on-r

  3. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  4. .net - .NET 将如何影响 Python 和 Ruby 应用程序？ - 2

    我很好奇.NET将如何影响Python和Ruby应用程序。用IronPython/IronRuby编写的应用程序是否会非常特定于.NET环境，以至于它们实际上将变得特定于平台？如果他们不使用任何.NET功能，那么IronPython/IronRuby相对于非.NET同类产品的优势是什么？ 最佳答案 我不能说任何关于IronRuby的东西，但是大多数Python实现(如IronPython、Jython和PyPy)都试图尽可能忠实于CPython实现。不过，IronPython正在迅速成为这方面的佼佼者之一，并且在PlanetPyth

  5. ruby - 有没有办法从 ruby​​ case 语句中访问表达式？ - 2

    我想从then子句中访问c​​ase语句表达式，即food="cheese"casefoodwhen"dip"then"carrotsticks"when"cheese"then"#{expr}crackers"else"mayo"end在这种情况下，expr是食物的当前值(value)。在这种情况下，我知道，我可以简单地访问变量food，但是在某些情况下，该值可能无法再访问(array.shift等)。除了将expr移出到局部变量然后访问它之外，是否有直接访问caseexpr值的方法？罗亚附注我知道这个具体示例很简单，只是一个示例场景。 最佳答案

  6. ruby-on-rails - 有没有一种工具可以在编码时自动保存对文件的增量更改？ - 2

    我最喜欢的Google文档功能之一是它会在我工作时不断自动保存我的文档版本。这意味着即使我在进行关键更改之前忘记在某个点进行保存，也很有可能会自动创建一个保存点。至少，我可以将文档恢复到错误更改之前的状态，并从该点继续工作。对于在MacOS(或UNIX)上运行的Ruby编码器，是否有具有等效功能的工具？例如，一个工具会每隔几分钟自动将Gitcheckin我的本地存储库以获取我正在处理的文件。也许我有点偏执，但这点小保险可以让我在日常工作中安心。 最佳答案 虚拟机有些人可能讨厌我对此的回应，但我在编码时经常使用VIM，它具有自动保存功

  7. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  8. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  9. python - python中有没有类似于ruby的||=的表达式 - 2

    我在Ruby中遇到了一个有趣的表达式:a||="new"表示如果没有定义a，则将"new"值赋给a；否则，a将保持原样。在进行一些数据库查询时很有用。如果设置了该值，我不想触发另一个数据库查询。所以我在Python中尝试了类似的思路:a=aifaisnotNoneelse"new"失败了。我认为这是因为如果未定义a，则无法在Python中执行“a=a”。所以我能得出的解决方案是检查locals()和globals()，或者使用try...except表达式:myVar=myVarif'myVar'inlocals()and'myVar'inglobals()else"new"或try:

  10. ruby - 有没有一种 Ruby 方法可以删除初始化程序中的样板代码？ - 2

    我写了很多initialize代码，将attrs设置为参数，类似于:classSiteClientattr_reader:login,:password,:domaindefinitialize(login,password,domain='somedefaultsite.com')@login=login@password=password@domain=domainendend有没有更像Ruby的方式来做到这一点？我觉得我在一遍又一遍地编写相同的样板设置代码。 最佳答案 您可以使用rubyStruct:classMyClass或

随机推荐