草庐IT

mysql - SQL - 有没有更好的方法来处理一个表上的多个事务？

coder 2023-10-26 原文

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

5年前关闭。




Improve this question




因此，假设您在某个关系数据库(SQL Server、MySQL 等)中有一个 SQL 表。假设您有 500 个任务，每 15 分钟运行一次。每个任务将删除与该任务相关的部分数据，插入与该任务相关的新数据，然后外部源将选择与该任务相关的数据。

根据我的经验，这不可避免地导致死锁、超时和所有低于标准的选择性能，即使在进行脏读时也是如此。

您可以尝试尽可能错开任务的开始时间，但这并不能真正解决问题。任务太多了，总会有重叠的。

您可以尝试使用更好的 CPU 升级服务器来处理连接，但这对于 imo 仅 500 个任务来说非常昂贵。

所以我所做的是复制表模式，并为每个任务赋予它自己的具有该模式的不同表。
此外，在为表构建新数据时，它所做的只是插入到新表中，然后将当前表的名称与该表的名称翻转。

IE

创建表 Task001_Table_Inactive

将新数据批量插入到 Task001_Table_Inactive

删除表 Task001_Table_Active

重命名 Task001_Table_Inactive Task001_Table_Active

优点:

- 快速处理。 SQL 从来不擅长持续删除。批量插入和翻转名称的能力大大减少了任务的处理时间。

- 可扩展。既然所有这些插入和删除都不是一直在争夺一张表，我可以在云中的一台非常便宜的机器上运行许多任务。

- 防碎片化。由于每次都会重新创建表，因此困扰系统不断删除的任何碎片问题不再是问题。

- 选择尽可能快，无需脏读。由于插入是在单独的表中完成的，因此外部源执行的 select 语句将尽可能快，而无需进行脏读。这是imo最大的优势!

- 快速迁移。最终，即使使用这种设置，我也会有太多的任务并耗尽处理能力。因此，如果我需要将任务迁移到不同的服务器，只需复制两个表，而不是在 blob 表上执行一个笨拙且极其缓慢的选择语句...

- 可索引性。当表变得太大(300mill 行+)时，您无法对其进行索引。不管是什么，它都会因为事务缓冲限制而停止几天并放弃。 SQL就是这样。通过将巨大的 blob 表分割成更小的表，您可以成功地建立索引。将此与并行化相结合，与在大表上进行索引相比，您可以更快地索引所有数据。

缺点:

- 使 GUI 中的表格导航变得困难

- 使 select/schema alter 语句有点棘手，因为现在它必须在每个表上做某种光标，如 %Table% 并将 SQL 命令应用于每个表。

那么，既然 Schema 重复有这么多优点，为什么许多 SQL 爱好者讨厌它呢？有没有更好的方法来处理这个问题？

最佳答案

没有足够的信息可以提供建议..，但应考虑以下内容:

  • 快照隔离
    https://msdn.microsoft.com/en-us/library/ms173763.aspx
    除了正在恢复数据库时，SNAPSHOT 事务在读取数据时不会请求锁定。 SNAPSHOT 事务读取数据不会阻止其他事务写入数据。写入数据的事务不会阻止 SNAPSHOT 事务读取数据。
  • 使用事务复制/日志传送/镜像/变更数据捕获等来卸载主表
  • 除了删除，软删除(更新 IsDeleted 标志或维护 xxxx_deleted 表)是一种选择。

    • 如果系统(数据库、硬件、网络架构)设计得当，即使每秒有数千个 DML 请求也不会有问题。

    关于mysql - SQL - 有没有更好的方法来处理一个表上的多个事务？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38947673/

    mysqlSQLbrsectionstackoverflowsql-serverdatabase

    有关mysql - SQL - 有没有更好的方法来处理一个表上的多个事务？的更多相关文章

    1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

      我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

    2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

      总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

    3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    4. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

      我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

    5. Ruby 方法() 方法 - 2

      我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索，但这不是我需要的。我也看过ruby​​-doc.org，但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗？更新我用methods()方法做了实验，得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco

    6. ruby - 如何指定 Rack 处理程序 - 2

      Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

    7. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

      使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

    8. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

      我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

    9. ruby-on-rails - 渲染另一个 Controller 的 View - 2

      我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

    10. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

      我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

    随机推荐