草庐IT

php - 使用 Redis 的大规模策略的新闻提要

coder 2023-11-07 原文

我在尝试解决规模问题时遇到了一个有趣的困境。

目前我们有一个社交平台，它有一个非常典型的提要。我们正在使用图形数据库，每次用户请求提要时，我们都会访问数据库。虽然现在这很好，但随着我们用户群的扩大，它会逐渐停止。输入 Redis。

目前，我们通过帖子 ID 将评论、点赞等内容存储在 JSON 编码字符串中的各个 Redis 键中，并在有更新、添加或删除时更新它们。然后在代码中，我们循环遍历帖子的数据库结果并从 Redis 存储中提取数据。这导致多次调用 Redis 来构建每个帖子，这比每次都接触数据库要好得多。挑战在于跟上不断变化的数据，例如评论者/点赞者的头像、屏幕名称、已关闭的帐户、新的喜欢、新的评论等与每个帖子相关的数据。

我正在尝试确定一种策略来以最有效的方式处理此问题。 Redis 只会带我们走这么远，因为我们将达到每台机器大约 12 gig 的 ram。

讨论的概念之一是为每个存储新帖子 ID 的用户使用信标。因此，当用户分享新内容时，他们所有连接的 friend 的信标都会获得帖子 ID，这样当用户登录他们的提要时，就会被视为需要更新的 Dirty，然后按 ID 将提要存储在按时间戳排序的 Redis 集中。要检索提要数据，我们可以通过 ID 执行单个查询，而不是快数百倍的完整遍历。这仍然没有解决交互用户的帐户信息、他们的喜好和不断变化的评论问题，但确实部分解决了构建提要问题。

另一个想法是将用户的整个提要(JSON 编码)存储在 MYSQL 记录中，并在用户请求时即时更新它并且信标显示一个脏提要。否则，它只是一个单一的选择和 json 解码来构建提要。同样，动态组件是一团乱麻。

有没有人成功地应对了这个挑战，或者有解决这个问题的策略的工作知识。

最佳答案

Currently we store things like comments, likes and such in individual Redis keys in JSON encoded strings by post ID

使用更高效的序列化程序，如 igbinary 或 msgpack。我建议 igbinary(检查 http://kiss-web.blogspot.com/ )

Then in code we loop through the DB results of posts and pull in the data from the Redis store.

请务必使用流水线以获得最佳性能。

This is causing multiple calls to Redis to construct each post, which is far better than touching the DB each time.

不要低估数据库主键的力量。尝试对您的数据库执行相同操作(不是加入，而是按键选择):

 SELECT * FROM comments WHERE id IN (1,2,3,4,5,6):

单个 redis 调用比单个 DB 调用更快，但与主键上的一个 sql 查询相比，进行大量的 redis 调用(甚至是流水线调用)——没那么快。尤其是当您为数据库提供足够的缓冲区内存时。

你可以通过在redis中“缓存”DB数据来使用DB和Redis。你做这样的事情:

  1. 每次更新数据时，都是在数据库中更新并从 Redis 中删除。
  2. 获取数据时，您首先尝试从 Redis 获取它们。如果在 Redis 中找不到数据，则搜索它们的 id DB 并插入到 Redis 中以备将来使用，但有一定的过期时间。

这样你就只在 redis 中存储有用的数据。未使用的(旧)数据将仅保留在数据库中。

关于php - 使用 Redis 的大规模策略的新闻提要，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34937057/

大规提要Redissectionphpmysql

有关php - 使用 Redis 的大规模策略的新闻提要的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

随机推荐