草庐IT

MySQL 分片方法?

coder 2023-05-10 原文

分片 MySQL 表的最佳方法是什么。
我能想到的方法是:

  • 应用级分片?
  • 在 MySQL 代理层分片?
  • 用于分片的中央查找服务器?

  • 你知道这方面有什么有趣的项目或工具吗?

    最佳答案

    除非完全不可避免,否则最好不要将 MySQL 表分片。

    在编写应用程序时,您通常希望以最大限度提高速度和开发人员速度的方式进行编写。仅在必要时优化延迟(答案准备好之前的时间)或吞吐量(每个时间单位的答案数)。

    只有当所有这些分区的总和不再适合单个数据库服务器实例时,您才进行分区,然后将分区分配给不同的主机(= 分片) - 原因是写入或读取。

    写入情况是 a) 写入频率使服务器磁盘永久过载或 b) 写入过多,因此复制在此复制层次结构中永久滞后。

    分片的读取情况是当数据的大小如此之大以至于它的工作集不再适合内存并且数据读取开始命中磁盘而不是大部分时间从内存中提供服务时。

    只有当您分片你做。

    分片的那一刻,您将通过多种方式为此付出代价:

    您的大部分 SQL 不再是声明性的。

    通常,在 SQL 中,您会告诉数据库您想要什么数据,然后让优化器将其转换为数据访问程序。这是一件好事,因为它很灵活,而且因为编写这些数据访问程序是一件会损害速度的无聊工作。

    在分片环境中,您可能会根据节点 B 上的数据加入节点 A 上的表,或者您在节点 A 和 B 上有一个比节点大的表,并且正在根据节点 B 和 C 上的数据连接来自该节点的数据。您开始手动编写应用程序端基于哈希的连接解析以解决该问题(或者您正在重新发明 MySQL 集群),这意味着您最终会得到许多不再声明的 SQL,而是以程序方式表达 SQL 功能(例如,您在循环中使用 SELECT 语句)。

    您正在招致大量网络延迟。

    通常,SQL 查询可以在本地解析,优化器知道与本地磁盘访问相关的成本,并以最小化成本的方式解析查询。

    在分片环境中,通过在网络上对多个节点运行键值访问来解决查询(希望使用批量键访问而不是每次往返的单独键查找)或通过推送 WHERE 的部分内容来解决查询。子句到可以应用它们的节点(称为“条件下推”),或两者兼而有之。

    但即使在最好的情况下,这也涉及比本地情况更多的网络往返行程,并且更复杂。特别是因为 MySQL 优化器对网络延迟一无所知(好吧,MySQL 集群在这方面正在慢慢变得更好,但对于集群外的 vanilla MySQL 仍然如此)。

    您正在失去 SQL 的许多表达能力。

    好吧,这可能不太重要,但是外键约束和其他用于数据完整性的 SQL 机制无法跨越多个分片。

    MySQL 没有允许异步查询正常工作的 API。

    当同一类型的数据驻留在多个节点上时(例如节点 A、B 和 C 上的用户数据),通常需要针对所有这些节点解决横向查询(“查找所有 90 天未登录的用户帐户或更多”)。数据访问时间随节点数量线性增长,除非可以并行询问多个节点并在它们进来时聚合结果(“Map-Reduce”)。

    这样做的前提是异步通信 API,它不存在于 MySQL 的良好工作状态。另一种选择是在子进程中进行大量 fork 和连接,这是在季票上访问吮吸世界。

    一旦您开始分片,数据结构和网络拓扑就会随着性能指向您的应用程序而变得可见。为了合理地执行,您的应用程序需要了解这些事情,这意味着实际上只有应用程序级分片才有意义。

    如果您想自动分片(例如,通过散列主键来确定哪一行进入哪个节点),或者如果您想以手动方式进行功能拆分(“与 xyz 用户故事相关的表转到这个主,而 abc 和 def 相关的表去那个主")。

    功能分片的优点是,如果做得好,大多数开发人员大部分时间都看不到它,因为与他们的用户故事相关的所有表都将在本地可用。这使他们仍然可以尽可能长时间地从声明式 SQL 中受益,并且由于跨网络传输的数量保持最少,因此网络延迟也会更少。

    功能分片的缺点是不允许任何单个表大于一个实例,并且需要设计人员手动注意。

    功能分片的优势在于它相对容易地对现有代码库进行,但更改数量不会太大。 http://Booking.com在过去的几年里已经做过多次,而且对他们来说效果很好。

    说了这么多,看着你的问题,我确实相信你问错了问题,或者我完全误解了你的问题陈述。

    关于MySQL 分片方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5541421/

    有关MySQL 分片方法?的更多相关文章

    1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

      我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

    2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

      总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

    3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    4. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

      我正在尝试设置一个puppet节点,但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter,它工作正常,但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件,它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

    5. Ruby 方法() 方法 - 2

      我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索,但这不是我需要的。我也看过ruby​​-doc.org,但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗?更新我用methods()方法做了实验,得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco

    6. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

      我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

    7. ruby - Highline 询问方法不会使用同一行 - 2

      设置:狂欢ruby1.9.2高线(1.6.13)描述:我已经相当习惯在其他一些项目中使用highline,但已经有几个月没有使用它了。现在,在Ruby1.9.2上全新安装时,它似乎不允许在同一行回答提示。所以以前我会看到类似的东西:require"highline/import"ask"Whatisyourfavoritecolor?"并得到:Whatisyourfavoritecolor?|现在我看到类似的东西:Whatisyourfavoritecolor?|竖线(|)符号是我的终端光标。知道为什么会发生这种变化吗? 最佳答案

    8. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

      我已经从我的命令行中获得了一切,所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时,我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗?我正在使用OSX并安装了rvm。 最佳答案 或者,您可以只使用“require”,它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

    9. ruby - 多个属性的 update_column 方法 - 2

      我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法,但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2

    10. ruby - 检查方法参数的类型 - 2

      我不确定传递给方法的对象的类型是否正确。我可能会将一个字符串传递给一个只能处理整数的函数。某种运行时保证怎么样?我看不到比以下更好的选择:defsomeFixNumMangler(input)raise"wrongtype:integerrequired"unlessinput.class==FixNumother_stuffend有更好的选择吗? 最佳答案 使用Kernel#Integer在使用之前转换输入的方法。当无法以任何合理的方式将输入转换为整数时,它将引发ArgumentError。defmy_method(number)

    随机推荐