草庐IT

mysql - 删除旧记录 - MySQL

coder 2023-10-18 原文

我目前正在寻找一个基本问题的解决方案:删除旧记录。

为了解释这种情况，我有一个表，我将其称为表 1，其中的记录数量有所减少。通常它保持为空，因为它用于中继消息。这些消息在被添加到数据库后的两秒内被读取，并被删除，这样它们就不会被再次读取。

但是，如果其中一个本应从表 1 接收消息的客户端离线，那么多条消息可能会变为待处理状态。有时数百个。有时数千甚至数十万，甚至更多。

这不仅会损害客户端的性能，客户端必须处理大量消息，还会损害保存在内存中且应保留最少记录的数据库。

考虑到客户端每秒都会检查新消息，删除旧记录的最佳方法是什么？我考虑过添加时间戳，但这不会损害性能:插入时必须计算时间戳的事实吗？我试过了，所有这些查询最终都出现在慢速查询日志中。

最好的解决方案是什么？我考虑过检查表在过去 5 秒内是否被更改，如果没有，我们可以放心，所有应该转发的消息都已经转发，并且可以被删除。但如何做到这一点？

我考虑过每隔几分钟运行一次事件，但我不确定如何实现对选择/插入/删除查询没有(或无意义)影响的东西。

PS:这种情况是在我注意到一些客户端离线时出现的，并且有 800 万条消息待处理。

编辑:

我忘记提到存储引擎是 MEMORY，因此所有记录都保存在 RAM 中。这就是我想要摆脱这些记录的主要原因:因为数百万本不应该存在的记录被保存在 RAM 中，会对系统资源产生影响。

这是错误日志的摘录:

# Query_time: 0.000283  Lock_time: 0.000070 Rows_sent: 0  Rows_examined: 96
SET timestamp=1387199997;
DELETE FROM messages WHERE clientid='100';
[...]
# Query_time: 0.000178  Lock_time: 0.000054 Rows_sent: 0  Rows_examined: 96
SET timestamp=1387199998;
DELETE FROM messages WHERE clientid='14';

所以我猜他们确实有一个很小的延迟，但它在 MySQL 中有任何意义吗？我的意思是，在“现实生活”中，0.0003 可能由于其微不足道而被完全忽略，对于 MySQL 和大约 10 毫秒 ping 的连接也可以这样说吗？

最佳答案

你的问题很有趣，但没有太多细节，所以我只能给出一般的观点。

首先 - 已经存在许多消息队列解决方案，它们可以开箱即用地满足您的需求。它们隐藏了数据存储、清理等底层实现，让您专注于应用程序逻辑。 RabbitMQ是一个流行的开源选项。

其次，除非您使用受限的硬件，否则 MySQL 表中的数十万条记录在大多数情况下都不是性能问题，也不会在插入时生成时间戳。因此，我建议构建一个明显且直接的解决方案(因此不易出错)- 在消息表中添加一个时间戳列，并找到一种方法来删除超过 5 分钟的消息。您可以将其添加到交付后清理记录的逻辑中。只要您的查询命中索引列，我认为您不必担心数十万条记录。

我会投入一些精力来创建一个性能测试套件，让您可以试验解决方案并查看哪个真的更快。这可能很棘手，尤其是当您想要测试具有多个客户端的场景时，但您将通过处理这些场景了解更多有关应用程序性能特征的信息。

编辑:

您的表中可以有一列 automatically set a timestamp value - 我一直觉得这非常快。就像 - 在非常大的表(数千万行)上从来都不是问题。

我对内存存储引擎没有太多经验 - 但 MySQL documentation表明由于锁定时间，数据修改操作(如插入或更新或删除)可能会很慢 - 您的统计数据证实了这一点，其中锁定时间大约占总数的 30％。

关于mysql - 删除旧记录 - MySQL，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20613913/

除旧mysqlsection的sqlsql-delete

有关mysql - 删除旧记录 - MySQL的更多相关文章

  1. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  2. ruby-on-rails - Rails 5 Active Record 记录无效错误 - 2

    我有两个Rails模型，即Invoice和Invoice_details。一个Invoice_details属于Invoice，一个Invoice有多个Invoice_details。我无法使用accepts_nested_attributes_forinInvoice通过Invoice模型保存Invoice_details。我收到以下错误:(0.2ms)BEGIN(0.2ms)ROLLBACKCompleted422UnprocessableEntityin25ms(ActiveRecord:4.0ms)ActiveRecord::RecordInvalid(Validationfa

  3. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  4. ruby-on-rails - 事件记录 : Select max of limit - 2

    我正在尝试将以下SQL查询转换为ActiveRecord，它正在融化我的大脑。deletefromtablewhereid有什么想法吗？我想做的是限制表中的行数。所以，我想删除少于最近10个条目的所有内容。编辑:通过结合以下几个答案找到了解决方案。Temperature.where('id这给我留下了最新的10个条目。 最佳答案 从您的SQL来看，您似乎想要从表中删除前10条记录。我相信到目前为止的大多数答案都会如此。这里有两个额外的选择:基于MurifoX的版本:Table.where(:id=>Table.order(:id).

  5. Ruby 守护进程导致 ActiveRecord 记录器 IOError - 2

    我目前正在用Ruby编写一个项目，它使用ActiveRecordgem进行数据库交互，我正在尝试使用ActiveRecord::Base.logger记录所有数据库事件具有以下代码的属性ActiveRecord::Base.logger=Logger.new(File.open('logs/database.log','a'))这适用于迁移等(出于某种原因似乎需要启用日志记录，因为它在禁用时会出现NilClass错误)但是当我尝试运行包含调用ActiveRecord对象的线程守护程序的项目时脚本失败并出现以下错误/System/Library/Frameworks/Ruby.frame

  6. ruby-on-rails - 在 Rails 中更高效地查找或创建多条记录 - 2

    我有一个应用需要发送用户事件邀请。当用户邀请friend(用户)参加事件时，如果尚不存在将用户连接到该事件的新记录，则会创建该记录。我的模型由用户、事件和events_user组成。classEventdefinvite(user_id,*args)user_id.eachdo|u|e=EventsUser.find_or_create_by_event_id_and_user_id(self.id,u)e.save!endendend用法Event.first.invite([1,2,3])我不认为以上是完成我的任务的最有效方法。我设想了一种方法，例如Model.find_or_cr

  7. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  8. ruby - 在模块/类之间共享全局记录器 - 2

    在许多ruby​​类之间共享记录器实例的最佳(正确)方法是什么？现在我只是将记录器创建为全局$logger=Logger.new变量，但我觉得有更好的方法可以在不使用全局变量的情况下执行此操作。如果我有以下内容:moduleFooclassAclassBclassC...classZend在所有类之间共享记录器实例的最佳方式是什么？我是以某种方式在Foo模块中声明/创建记录器还是只是使用全局$logger没问题？ 最佳答案 在模块中添加常量:moduleFooLogger=Logger.newclassAclassBclassC..

  9. ruby - Sinatra 中的全局救援和日志记录异常 - 2

    如何在出现异常时指定全局救援，如果您将Sinatra用于API或应用程序，您将如何处理日志记录？ 最佳答案 404可以在not_found方法的帮助下处理，例如:not_founddo'Sitedoesnotexist.'end500s可以通过调用带有block的错误方法来处理，例如:errordo"Applicationerror.Plstrylater."end错误的详细信息可以通过request.env中的sinatra.error访问，如下所示:errordo'Anerroroccured:'+request.env['si

  10. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

随机推荐