草庐IT

MySQL/MariaDB 在多核上运行单个查询

coder 2023-10-04 原文

我有一个相当强大的数据库服务器，大约有 24 个内核和 48 GB 内存。我们正在运行 MariaDB 10.0 作为我们的数据库引擎。我所有的表都在 InnoDB 引擎上运行。我有一些查询在大型表上使用相当广泛的连接，因此自然很慢。我正在努力做的一件事是尝试利用多核的力量。以下是我的观察:

  1. 如果我并行运行 2 个查询，那么我可以看到正在使用 2 个内核
  2. 如果我运行 1 个查询，我看到只有 1 个核心被 100% 使用

现在，这是正常行为吗？我的意思是，在 MariaDB/MySQL 中没有办法为单个查询使用多个核心吗？如果单个繁重的查询可以通过利用多个 CPU 内核运行得更快，那就太好了。

我确实尝试并搜索了多个论坛，并尝试过使用不同的参数，例如 Innodb_thread_cocurrency，但到目前为止还无法在多个内核上运行单个查询。

是否有任何其他引擎可以帮助我做到这一点(我目前正在阅读有关 XtraDB 的资料)？

更新:

嗯，实际上我正在尝试分析社交媒体数据。因此，想象一个包含 2-3 百万条推文的数据库。自然地，我们谈论的是与用户数据、主题标签、图像、链接等相关联的表格。总而言之，这是一个相当大的数据库。在某些情况下，有些查询需要对多个表进行一些连接并且自然很慢。因此，想象一下，例如一个包含 5-6 个不同查询的仪表板查询。当单个用户登录时，这会给单个内核带来负载，并且整个内核会被使用 n 秒。如果我有 12 个内核，假设有 12 个用户同时尝试访问系统，那么我就有了严重的瓶颈。我完全理解，分片、集群、分布式数据库、分区等选项可以帮助我。但现在我正试图了解如何最好地垂直扩展系统，然后再考虑水平扩展(其中我引入了更多服务器)。使用多核本来是一个很好的选择，但我想现在我明白了，MySQL 并不是天生就这样设计的。我想我将开始研究各种[在多个实例上扩展数据库的可能架构。

最佳答案

虽然这个帖子已有半年多的历史，但一些评论引起了一些关注。作为核心数据库性能调优器，我想在这里添加一些输入:

1) 在撰写本文时，MariaDB 和 MySQL 不支持在多个处理器上运行单个查询(当然，除非您谈论的是分片)。这并不意味着他们将来不会支持它。

2) 并行化查询可以在其他 RDBMS(DB2、Oracle、SQLServer、Postgres 等)中完成，这是数据仓库等环境的重要特征。

3) 对于长时间运行的查询，并行化通常会缩短执行时间，尽管改进可能不是线性的。因此，说“一个查询使用多个内核来使其运行更快是没有意义的”是不正确的。除非我们对“工作更快”有不同的定义，否则它对某些工作负载来说非常有意义。

4) CPU 瓶颈并不一定意味着“您以错误的方式使用数据库”。是的，确实有些人确实编写了糟糕的查询(或驱动查询的过程)并使数据库窒息而死，但这完全是另一个问题。

5) 并行会减少并发。如果您的目标是支持更多用户(即更高的并发性)，您将不得不放弃在多个处理器上运行查询(或者每个查询只在较少 处理器上运行)。这是您需要做出的权衡。冒着过度概括的风险，您可能希望 OLTP 环境查询串行运行，而 OLAP 查询并行运行。

干杯!

关于MySQL/MariaDB 在多核上运行单个查询，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33143214/

多核MariaDBsection的mysql

有关MySQL/MariaDB 在多核上运行单个查询的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表，并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码)，并打印以下消息。鉴于该程序非常简单，我已经没有什么想法了-有什么建议吗？/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  3. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  4. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  5. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  6. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  7. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道，是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔？posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  8. ruby-on-rails - 无法让 rspec、spork 和调试器正常运行 - 2

    GivenIamadumbprogrammerandIamusingrspecandIamusingsporkandIwanttodebug...mmm...let'ssaaay,aspecforPhone.那么，我应该把“require'ruby-debug'”行放在哪里，以便在phone_spec.rb的特定点停止处理？(我所要求的只是一个大而粗的箭头，即使是一个有挑战性的程序员也能看到:-3)我已经尝试了很多位置，除非我没有正确测试它们，否则会发生一些奇怪的事情:在spec_helper.rb中的以下位置:require'rubygems'require'spork'

  9. ruby-on-rails - before_filter 运行多个方法 - 2

    是否有可能:before_filter:authenticate_user!||:authenticate_admin! 最佳答案 before_filter:do_authenticationdefdo_authenticationauthenticate_user!||authenticate_admin!end 关于ruby-on-rails-before_filter运行多个方法，我们在StackOverflow上找到一个类似的问题： https://

  10. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候，windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表，但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题)，加之暑假之后对cmake实在是爱不释手，且这样配置确实十分简单(其实都不需要配置)，故斗胆妄言vscode下配置CV之法。其实极为简单，图比较多所以很长。如果你看此文还配不好，你应该思考一下是不是自己的问题。闲话少说，直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么，我不说是谁。CMake是一个开源免费并且跨平台的构建工具，可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

随机推荐