我有一个包含20多个表的MySQL数据库,但其中一个表非常大,因为它从不同的传感器收集测量数据。它的磁盘大小约为145GB,包含超过10亿条记录。所有这些数据也被复制到另一个MySQL服务器。我想将数据分成更小的“碎片”,所以我的问题是以下哪种解决方案更好。我会使用记录的“时间戳”来按年划分数据。几乎所有在此表上执行的SELECT查询都在查询的“where”部分包含“timestamp”字段。所以以下是我无法决定的解决方案:使用MySQL分区并按年份划分数据(例如分区1-2010,分区2-2011等)创建单独的表格并按年份划分数据(例如measuring_2010、measuring_
我有一个包含8000万条记录的表。表的结构:id-自动递增,代码-5到100个字符的字母数字代码,其他领域。最常用的查询是SELECT*FROMtableWHEREcodeLIKE'%{user-defined-value}%'查询的数量和记录数都在增长。很快我就会遇到性能问题。有什么办法可以把表格分成几部分?或者也许还有其他一些优化表格的方法? 最佳答案 搜索中领先的%是这里的killer。它否定了任何索引的使用。我唯一能想到的就是根据代码长度对表进行分区。例如,如果输入的代码是10个字符长,则先搜索10个字符代码的表,不带前导百
我有一个定期测量的SQL表。我希望能够一次针对任意数量的行在值列上返回一些汇总方法(比如SUM)。所以如果我有id|reading110514710111213181416我可以一次对2行求和,得到(24,22,34),或者我可以一次对3行求和,得到(34,46),如果这有意义的话。请注意,ID可能不连续——我只想按行数按排序顺序进行操作。在现实世界中,标识符是时间戳,但我认为(可能在应用unix_timestamp()调用之后)任何适用于上述简单情况的东西都应该适用。如果这很重要,我正在尝试优雅地缩放为绘图查询返回的结果数量——也许有更聪明的方法来做到这一点?我希望解决方案是通用的,
我有一个数据库表,每天插入大约10k行。数据库中已经有超过1000万条记录。我想知道如何每月在此表上自动创建分区,以便我可以更快地获取数据。对于在表上创建的分区数量也有任何限制。例如。2000年12个分区2001年的12个分区等等...分区应该在每个月初自动创建。我的方案中有日期列。 最佳答案 不,您必须自己定期运行ALTERTABLE来添加分区。MySQL没有自动添加分区以响应数据增长的功能。但是您当然可以创建一个cron作业来完成它。或者您可以使用MySQLEVENT.MySQL5.5允许每个表最多1024个分区,MySQL5.
我有一个场景,比如我有一个包含不同类别的产品表。所以查询将特定于类别。所以我想,如果我可以将每个类别分开作为每个分区,它将提高性能。DROPTABLEIFEXISTSproducts;CREATETABLEproducts(idint(11)AUTO_INCREMENT,pnamevarchar(11)default'',categorychar(10)default'general',PRIMARYKEYthisKey(id,category))PARTITIONBYKEY(category);我加载了两个类别的数据。但它只显示一个分区:mysql>EXPLAINPARTITIONS
向已分区的表添加另一个分区的最佳方法是什么?原始的CREATETABLE语句如下所示:CREATETABLE`command_log`(`id`bigint(20)NOTNULL,`insert_time`datetimeNOTNULL,`start_time`timestampNULLDEFAULT'0000-00-0000:00:00',`end_time`timestampNOTNULLDEFAULT'0000-00-0000:00:00',`command`varchar(255)NOTNULL,`parameters`varchar(255)DEFAULTNULL,`resu
这是对我的问题“高效存储7.300.000.000行”(Efficientlystoring7.300.000.000rows)的跟进。我决定使用MySQL进行分区,初步架构如下所示:CREATETABLEentity_values(entity_idMEDIUMINTUNSIGNEDDEFAULT0NOTNULL,#3bytes=[0..16.777.215]date_idSMALLINTUNSIGNEDDEFAULT0NOTNULL,#2bytes=[0..65.535]value_1MEDIUMINTUNSIGNEDDEFAULT0NOTNULL,#3bytes=[0..16.7
抱歉,如果这是一个愚蠢的问题,但这是一个新问题,所以需要一些帮助来理解一些事情。我目前正在将mysql升级到5.1,因此我可以在mysql中使用分区。我的问题是,如果我对表进行分区,分区表(包括修剪过程)是否仍会使用连接进行查询,或者如果您只是查询具有分区的表,分区是否是最佳的?编辑这是一个示例查询:SELECTevent.*,site.*FROMeventINNERJOINsiteONevent.siteid=site.idWHEREevent.eventdate>=[somedate]ANDevent.eventdate而且我使用事件日期字段在事件表上设置了分区。mysql是否仍然
我看到这个问题几乎在许多线程上得到了回答,但没有考虑对这个特定领域的影响:我希望在MySQL中存储大量仪表(500个并且还在增加)的时间序列数据,每个仪表以5分钟的间隔提供一个浮点值。最简单的结构是:-gauge_id-时间戳-值(value)(其中gauge_id和timestamp组合为主键)这意味着每年每个仪表大约有105120行-所有这些都需要存储10年或20年。对于1000个仪表,我们每年将查看1亿条记录。数据是分批写入的,通常每个channel的值都会从远程源聚合到一个XML文件中,然后每小时或每天读入数据库。所以最多,每小时插入的数量与我们的量规一样多。数据的读取操作将基
我想使用mysql分区表将表分区为YEAR和WEEK编号。我确切地知道如何使用mysql合并表执行此操作,但分区表不同。有人可以帮助下表架构吗?CREATETABLE`tableName`(`id`int(10)NOTNULLAUTO_INCREMENT,`dateandtime`datetimeNOTNULL,`othervalue`int(10)NOTNULL,PRIMARYKEY(`id`))ENGINE=MyISAM;还有是不是一定要在某个引擎里?如果我将日期和时间存储为int(10)时间戳,我该怎么做?CREATETABLE`tableName`(`id`int(10)NOT