草庐IT

mysql - 如何在实时数据库上运行大更新？

coder 2023-10-13 原文

我正在编写的一个 Web 项目使用复杂的 CSV 到 MySQL 转换器来创建他们的数据库。这意味着要用 CSV 的最新更改更新数据库内容，运行一个转换器截断相关表(但留下通过网站填充的其他表)并再次用 CSV 中的数据填充它们。

是的，这不是一个很好的过程，但有充分的理由选择这种方法而不是标准的“在实际数据库上工作”方法。

我正在努力解决的问题是找出运行此更新过程的最佳方式，同时又不会对用户体验造成太大影响。请记住一些数字:

1) 这个过程必须定期运行，在每隔几周/每月一次的范围内
2) 数据库转换器目前需要大约一个小时，将来可能需要长达 15 小时，至少如果关于数据库增长的预测是正确的(是的，哎哟!)
3) 完整数据库的 sql 转储目前不到 20MB(这允许通过 phpmyadmin 轻松导入)但很快就会打破这个障碍。我想这应该不是问题，因为我可以改用 SSH 上传。

以下是我想到的一些备选方案，它们都使用具有全局设置的单独数据库(网站上的每次读/写都会检查这些设置)。备选方案 2 似乎是最糟糕的，因为它会在整个转换期间阻止读取访问，正如我所说，这可能会很长。它们都在大约相同的时间内阻止写访问，这很好，但它不会阻止用户注册或类似的重要事情。我很好奇第三种替代方案的可行性，因为它理论上允许缩短读取功能的停机时间，因为我不必上传大转储。

有没有人做过这样的事情？如果有更好的选择，或者关于如何改进这些选择以及是否选择 1 或 3 的任何反馈，我将不胜感激。提前致谢:)

Alternative 1<br/> 1) Set globalsettings_booleans_writeable to 0<br/> 2) Download current DB (SQL dump)<br/> 3) Import downloaded DB locally<br/> 4) Run converter (in update mode) on local database<br/> 5) Export local DB<br/> 6) Set globalsettings_booleans_readable to 0<br/> 7) Import exported DB online<br/> 8) Set globalsettings_booleans_readable to 1<br/> 9) Set globalsettings_booleans_writeable to 1

Alternative 2<br/> 1) Set globalsettings_booleans_writeable to 0<br/> 2) Set globalsettings_booleans_readable to 0<br/> 3) Run converter (in update mode) on live database<br/> 4) Set globalsettings_booleans_readable to 1<br/> 5) Set globalsettings_booleans_writeable to 1

Alternative 3<br/> 1) Set globalsettings_booleans_writeable to 0<br/> 2) Create a remote copy of the database<br/> 3) Run converter (in update mode) on remote copy<br/> 4) Set globalsettings_booleans_readable to 0<br/> 5) Replace remote original with remote copy (easy?)<br/> 6) Set globalsettings_booleans_readable to 1<br/> 7) Set globalsettings_booleans_writeable to 1

最佳答案

在我看来，通过检查 CSV 以查看哪些记录实际上会导致数据库发生更改，可以避免很多排他性。 CSV 生成器似乎是数据的实际来源，而数据库只是它的一个镜像，对吧？

如果是这样，则可以忽略不会导致更改的 CSV 记录，不会截断 d/b 表，并且可以使用备选方案 2 运行剩余的 CSV 记录，这大概只需要几分钟。

这种方法的主要弱点是，如果记录在源头被删除，并且没有迹象表明 d/b 需要在本地删除它们。

关于mysql - 如何在实时数据库上运行大更新？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4385724/

何在mysqlglobalsettingsbooleansglobalsettings_booleans_writeabledatabasescalability

有关mysql - 如何在实时数据库上运行大更新？的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  3. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  4. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  5. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  6. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  7. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  8. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  9. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  10. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

随机推荐