草庐IT

mysql - redis 作为 mysql 的回写 View 计数缓存

coder 2023-07-17 原文

我有一个吞吐量非常高的站点，我试图在 mySQL 数据库中为每个页面存储“查看计数”(出于遗留原因，它们最终必须在 mySQL 中结束)。

绝对数量的 View 使得执行 SQL“UPDATE ITEM SET VIEW_COUNT=VIEW_COUNT+1”类型的语句变得不切实际。有数以百万计的项目，但大多数只被查看了很少的次数，其他的被查看了很多次。

因此，我正在考虑使用 Redis 来收集 View 计数，并使用一个将计数写入 mySQL 的后台线程。这样做的推荐方法是什么？该方法存在一些问题:

  • 后台线程多久运行一次？
  • 它如何确定写回 mySQL 的内容？
  • 我应该为每个命中的 ITEM 存储一个 Redis KEY 吗？
  • 我应该使用什么 TTL？
  • 是否已经有一些预先构建的解决方案或 PowerPoint 演示文稿可以让我走到一半，等等。

    • 我在 StackOverflow 上看到了非常相似的问题，但没有一个有很好的答案......然而!希望此时有更多 Redis 知识。

    最佳答案

    我认为你需要退后一步，从不同的角度看待你的一些问题才能得到你的答案。

    “后台线程多久运行一次？”
    要回答这个问题，您需要回答以下问题:您会丢失多少数据？数据在 MySQL 中的原因是什么，以及该数据的访问频率是多少？例如，如果每天只需要为报告查询一次数据库，您可能只需要每天更新一次。另一方面，如果 Redis 实例死了怎么办？你可以失去多少增量并且仍然“好”？这些将提供更新 MySQL 实例的频率问题的答案，我们无法为您解答。

    我会使用一种非常不同的策略将其存储在 redis 中。为了讨论起见，让我们假设您决定需要每小时“刷新到数据库”。

    将每个命中存储在具有以下行的键名称结构的哈希中:

    interval_counter:DD:HH
interval_counter:total

    使用页面 ID(例如 URI 的 MD5 总和、URI 本身或您当前使用的任何 ID)作为哈希键，并在页面 View 上进行两次增量；每个哈希一个。这为您提供了每个页面的当前总数和要更新的页面子集。

    然后，您将让您的 cron 作业在一小时开始后运行一分钟左右，通过抓取前一小时的哈希来下拉所有具有更新 View 计数的页面。这为您提供了一种非常快速的方法来获取数据以更新 MySQL 数据库，同时避免任何需要进行数学运算或玩弄时间戳等的技巧。通过从不再增加的键中提取数据，您可以避免竞争条件时钟偏差。

    您可以为每日 key 设置过期时间，但我宁愿使用 cron 作业在成功更新数据库后将其删除。这意味着如果 cron 作业失败或无法执行，您的数据仍然存在。它还通过不变的键为前端提供一整套已知的命中计数器数据。如果您愿意，您甚至可以保留每日数据，以便能够查看页面受欢迎程度的窗口 View 。例如，如果您通过 cron 作业设置过期而不是删除将每日哈希保持在 7 天左右，您可以显示每个页面在上周每天有多少流量。

    执行两个 hincr 操作可以单独或流水线完成，仍然表现得相当好，并且比在代码中进行计算和处理数据更有效。

    现在关于过期低流量页面与内存使用的问题。首先，您的数据集听起来不像需要大量内存的数据集。当然，这很大程度上取决于您如何识别每个页面。如果您有一个数字 ID，则内存需求将相当小。如果您仍然有太多内存，您可以通过配置对其进行调整，如果需要，甚至可以使用 32 位 redis 编译来显着减少内存使用。比如我在this answer中描述的数据我曾经管理过互联网上最繁忙的十个论坛之一，它消耗的数据不到 3GB。我还将计数器存储在比我在这里描述的要多得多的“时间窗口”键中。

    也就是说，在这个用例中，Redis 是缓存。如果您在上述选项后仍然使用太多内存，您可以设置键的过期时间并为每个 ht 添加一个 expire 命令。更具体地说，如果您遵循上述模式，您将在每次点击时执行以下操作:
    hincr -> total
hincr -> daily
expire -> total

    这让您可以通过在每次访问时延长其过期时间来保持任何活跃使用​​的新鲜事物。当然，要做到这一点，您需要包装显示调用，以捕获总计哈希上 hget 的空答案，并从 MySQL 数据库中填充它，然后递增。您甚至可以将两者都作为增量进行。如果您的 Redis 节点需要重新填充，这将保留上述结构，并且可能与从 MySQL 数据库更新 Redis 服务器所需的代码库相同。为此，您需要考虑并决定哪个数据源将被视为权威。

    您可以根据您从前面的问题中确定的数据完整性参数，通过修改间隔来调整 cron 作业的性能。要获得更快运行的 cron nob，您可以减小窗口。使用这种方法减少窗口意味着您应该有一个较小的页面集合来更新。这里的一大优势是您无需弄清楚需要更新哪些 key ，然后再去获取它们。您可以执行 hgetall 并迭代哈希的键以进行更新。通过一次检索所有数据，这还可以节省许多往返次数。在任何一种情况下，如果您可能想要考虑从属于第一个的第二个 Redis 实例来进行读取。您仍然会针对 master 进行删除，但这些操作要快得多，并且不太可能在您的大量写入的实例中引入延迟。

    如果您需要 Redis DB 的磁盘持久性，那么当然可以将其放在从属实例上。否则，如果您确实经常更改大量数据，那么您的 RDB 转储将不断运行。

    我希望这有帮助。没有“预设”答案，因为要正确使用 Redis，您首先需要考虑如何访问数据，这在用户与用户和项目之间有很大不同。在这里，我基于这种描述采取的路线:两个消费者访问数据，一个只显示，另一个确定更新另一个数据源。

    关于mysql - redis 作为 mysql 的回写 View 计数缓存，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16761898/

    mysqlredisbr的caching

    有关mysql - redis 作为 mysql 的回写 View 计数缓存的更多相关文章

    1. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

      我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

    2. ruby-on-rails - 渲染另一个 Controller 的 View - 2

      我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

    3. ruby - RSpec - 使用测试替身作为 block 参数 - 2

      我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

    4. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

      我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

    5. ruby-on-rails - 如何在 Rails View 上显示错误消息？ - 2

      我是rails的新手，想在form字段上应用验证。myviewsnew.html.erb.....模拟.rbclassSimulation{:in=>1..25,:message=>'Therowmustbebetween1and25'}end模拟Controller.rbclassSimulationsController我想检查模型类中row字段的整数范围，如果不在范围内则返回错误信息。我可以检查上面代码的范围，但无法返回错误消息提前致谢 最佳答案 关键是您使用的是模型表单，一种显示ActiveRecord模型实例属性的表单。c

    6. ruby - 如何在 Ubuntu 中清除 Ruby Phusion Passenger 的缓存？ - 2

      我试过重新启动apache，缓存的页面仍然出现，所以一定有一个文件夹在某个地方。我没有“公共(public)/缓存”，那么我还应该查看哪些其他地方？是否有一个URL标志也可以触发此效果？ 最佳答案 您需要触摸一个文件才能清除phusion，例如:touch/webapps/mycook/tmp/restart.txt参见docs 关于ruby-如何在Ubuntu中清除RubyPhusionPassenger的缓存？，我们在StackOverflow上找到一个类似的问题：

    7. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

      尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

    8. ruby - 使用多个数组创建计数 - 2

      我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b'，'光盘'，'e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组，按顺序，这些数字可以产生x个字符，比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串，]current_combo['0','0','0']

    9. ruby - 字符串文字中的转义状态作为 `String#tr` 的参数 - 2

      对于作为String#tr参数的单引号字符串文字中反斜杠的转义状态，我觉得有些神秘。你能解释一下下面三个例子之间的对比吗？我特别不明白第二个。为了避免复杂化，我在这里使用了'd'，在双引号中转义时不会改变含义("\d"="d")。'\\'.tr('\\','x')#=>"x"'\\'.tr('\\d','x')#=>"\\"'\\'.tr('\\\d','x')#=>"x" 最佳答案 在tr中转义tr的第一个参数非常类似于正则表达式中的括号字符分组。您可以在表达式的开头使用^来否定匹配(替换任何不匹配的内容)并使用例如a-f来匹配一

    10. ruby-on-rails - 复数 for fields_for has_many 关联未显示在 View 中 - 2

      目前，Itembelongs_toCompany和has_manyItemVariants。我正在尝试使用嵌套的fields_for通过Item表单添加ItemVariant字段，但是使用:item_variants不显示该表单。只有当我使用单数时才会显示。我检查了我的关联，它们似乎是正确的，这可能与嵌套在公司下的项目有关，还是我遗漏了其他东西？提前致谢。注意:下面的代码片段中省略了不相关的代码。编辑:不知道这是否相关，但我正在使用CanCan进行身份验证。routes.rbresources:companiesdoresources:itemsenditem.rbclassItemi

    随机推荐