草庐IT

MySql - WAMP - 巨大的表非常慢(2000 万行)

coder 2023-10-02 原文

所以我发布了this !昨天得到了一个完美的答案，这需要先运行这段代码:ALTER TABLE mytable AUTO_INCREMENT=10000001;

我运行了几次，但在它无法运行几个小时后重新启动了 WAMP。运行了一夜(12 小时)，代码仍然没有运行。

我想知道我的数据库表大小是否超过了 mysql 或我的计算机或两者的限制。

但是，我偷偷怀疑适当的索引或其他一些因素会极大地影响我的表现。我知道 2000 万行很多，但它太多了吗？

我对索引知之甚少，只知道它们很重要。我尝试将它们添加到名称和状态字段，我相信我成功了。

顺便说一下，我正在尝试添加一个唯一的 ID 字段，这就是我昨天的帖子的全部内容。

那么，问题来了:2000万行不在MySql的范围内吗？如果不是，我是否缺少索引或其他有助于更好地处理这 2000 万行的设置？我可以在所有列上放置索引并使其超快吗？

一如既往，提前致谢...

规范如下:

我的电脑是 XP，运行 WAMPSERVER、Win32 NTFS、Intel Duo Core、T9300 @ 2.50GHz、1.17 GHz、1.98 GB 或 RAM

数据库:1 个表，2000 万行 表的大小是: 数据 4.4 Gigs，索引 1.3 Gigs，总计 5.8 Gigs

索引是在“BUSINESS NAME”和“STATE”字段上设置的

表格字段是这样的:

`BUSINESS NAME` TEXT NOT NULL, 
`ADDRESS` TEXT NOT NULL, 
`CITY` TEXT NOT NULL, 
`STATE` TEXT NOT NULL, 
`ZIP CODE` TEXT NOT NULL, 
`COUNTY` TEXT NOT NULL, 
`WEB ADDRESS` TEXT NOT NULL, 
`PHONE NUMBER` TEXT NOT NULL, 
`FAX NUMBER` TEXT NOT NULL, 
`CONTACT NAME` TEXT NOT NULL, 
`TITLE` TEXT NOT NULL, 
`GENDER` TEXT NOT NULL, 
`EMPLOYEE` TEXT NOT NULL, 
`SALES` TEXT NOT NULL, 
`MAJOR DIVISION DESCRIPTION` TEXT NOT NULL, 
`SIC 2 CODE DESCRIPTION` TEXT NOT NULL, 
`SIC 4 CODE` TEXT NOT NULL, 
`SIC 4 CODE DESCRIPTION` TEXT NOT NULL

最佳答案

一些答案​​:

  • 2000 万行完全在 MySQL 的能力范围内。我在一个数据库中工作，其中一个表中有超过 5 亿行。重组表可能需要数小时，但只要有索引的帮助，普通查询就不是问题。

  • 您的膝上型电脑已经过时且动力不足，无法用作大规模数据库服务器。进行表重组需要很长时间。低容量的内存和通常较慢的笔记本电脑磁盘可能会限制您。您可能也在使用 MySQL 的默认设置，这些设置专为在非常旧的计算机上运行而设计。

  • 我不建议对每个 列使用TEXT 数据类型。对于大多数这些列，您没有理由需要 TEXT。

  • 不要在每一列上创建索引，尤其是当您坚持使用TEXT 数据类型时。除非您定义前缀索引，否则您甚至无法索引TEXT 列。一般来说，选择索引来支持特定的查询。

基于上述内容，您可能还有许多其他问题，但在一篇 StackOverflow 帖子中无法涵盖太多内容。如果您要使用数据库，您可能需要参加培训或阅读书籍。
我推荐High Performance MySQL, 2nd Edition .

关于你的后续问题:

对于 MySQL 调优，这里是一个很好的起点:http://www.mysqlperformanceblog.com/2006/09/29/what-to-tune-in-mysql-server-after-installation/

许多 ALTER TABLE 操作会导致表重组，这意味着基本上锁定表，复制整个表并应用更改，然后重命名新表和旧表并删除旧表。如果表非常大，这可能需要很长时间。

TEXT 数据类型最多可以存储 64KB，这对于电话号码或状态来说太大了。我会使用 CHAR(10) 作为典型的美国电话号码。我会将 CHAR(2) 用于美国各州。通常，使用支持给定列中所需数据范围的最紧凑和最节省的数据类型。

关于MySql - WAMP - 巨大的表非常慢(2000 万行)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7368668/

MySql2000TEXTNULLNOTphpmyadminwamp

有关MySql - WAMP - 巨大的表非常慢(2000 万行)的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. ruby-on-rails - 使用 HTTParty 的非常基本的 Rails 4.1 API 调用 - 2

    Rails相对较新。我正在尝试调用一个API，它应该向我返回一个唯一的URL。我的应用程序中捆绑了HTTParty。我已经创建了一个UniqueNumberController，并且我已经阅读了几个HTTParty指南，直到我想要什么，但也许我只是有点迷路，真的不知道该怎么做。基本上，我需要做的就是调用API，获取它返回的URL，然后将该URL插入到用户的数据库中。谁能给我指出正确的方向或与我分享一些代码？ 最佳答案 假设API为JSON格式并返回如下数据:{"url":"http://example.com/unique-url"

  3. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  4. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  5. ruby - 如何在 Ruby 中生成一个非常大的随机整数？ - 2

    我想在ruby​​中生成一个64位整数。我知道在Java中你有很多渴望，但我不确定你会如何在Ruby中做到这一点。另外，64位数字中有多少个字符？这是我正在谈论的示例......123456789999。@num=Random.rand(9000)+Random.rand(9000)+Random.rand(9000)但我认为这是非常低效的，必须有一种更简单、更简洁的方法来做到这一点。谢谢! 最佳答案 rand可以将范围作为参数:pa=rand(2**32..2**64-1)#=>11093913376345012184putsa.

  6. sql - 在 Rails Console for PostgreSQL 的表中显示数据 - 2

    我找到了这样的东西:Rails:Howtolistdatabasetables/objectsusingtheRailsconsole?这一行没问题:ActiveRecord::Base.connection.tables并返回所有表但是ActiveRecord::Base.connection.table_structure("users")产生错误:ActiveRecord::Base.connection.table_structure("projects")我认为table_structure不是Postgres方法。如何列出Postgres数据库的Rails控制台中表中的所有

  7. Ruby 服务器在本地主机(teambox)之外非常慢 - 2

    我刚刚在我的Ubuntu9.10服务器上安装了TeamBox。我使用提供的服务器脚本在端口3000上启动并运行它。它的运行速度非常慢，从另一台计算机连接时每个HTTP请求最多需要30秒。我使用链接从shell加载TeamBox，一点也不花时间。然后我设置了一个SSH隧道，它再次运行得非常快。我通过此服务器上的apache以及SAMBA等运行了大约30个虚拟主机，没有任何问题。我该如何解决这个问题？ 最佳答案 我的redmine(ruby，webrick)太慢了。现在我解决了这个问题:apt-getinstallmongrelruby

  8. ruby-on-rails - 当我通过 rvm 使用 rails3 时，如何在 ubuntu 上安装 mysql2 gem？ - 2

    我正在尝试绕过rails配置这个极其复杂的迷宫。到目前为止，我设法在ubuntu上设置了rvm(出于某种原因，ruby在ubuntu存储库中已经过时了)。我设法建立了一个Rails项目。我希望我的测试项目使用mysql而不是mysqlite。当我尝试“rakedb:migrate”时，出现错误:“!!!缺少mysql2gem。将其添加到您的Gemfile:gem'mysql2'”当我尝试“geminstallmysql”时，出现错误，告诉我需要为安装命令提供参数。但是，参数列表很大，我不知道该选择哪些。如何通过在ubuntu上运行的rvm和mysql获取rails3？谢谢。

  9. ruby-on-rails - 即使没有挂起的迁移，Rails 迁移也非常缓慢 - 2

    我的生产Rails应用程序需要167秒来运行rakedb:migrate。可悲的是，没有要运行的迁移。我试图在检查是否有待处理的迁移时调整运行的迁移，但随后检查花费了同样长的时间。我心目中唯一的“借口”是数据库并不小，那里有1M条记录，但我看不出这有什么关系。我查看了日志，但没有任何迹象表明出了什么问题。我在运行ruby2.2.0rails4.2.0有没有人知道为什么会这样，是否有什么办法可以解决？ 最佳答案 运行rakedb:migrate任务还会调用db:schema:dump任务，这将更新您的db/schema.rb。因此，即

  10. ruby-on-rails - Rails Postgresql 多个模式和相同的表名 - 2

    我在两个不同的模式中有两个表，例如案例和事件。在每个模式中我都有基本表events.basiccases.basic这个表有关系:events.basic有一个cases.basic(cases.basic有多个events.basic)我的尝试失败了:文件cases_basic.rbclassCasesBasic'EventsBasic',:foreign_key=>'case_id'end文件events_basic.rbclassEventsBasic'CasesBasic',:foreign_key=>'case_id'end环境:Ruby1.9.3、Rails3.1.3、ge

随机推荐