草庐IT

python - Redis 发布订阅和消息队列

coder 2023-05-21 原文

我的总体问题是:将 Redis 用于 PubSub，当发布者将消息推送到 channel 的速度快于订阅者能够读取它们的速度时，消息会发生什么？

例如，假设我有:

  • 以 2 msg/sec 的速度发布消息的简单发布者。
  • 一个简单的订阅者以 1 msg/秒的速度阅读消息。

我的天真假设是订阅者只会看到发布到 Redis 上的消息的 50%。为了验证这个理论，我写了两个脚本:

pub.py

queue = redis.StrictRedis(host='localhost', port=6379, db=0)
channel = queue.pubsub()

for i in range(10): 
    queue.publish("test", i)
    time.sleep(0.5)

sub.py

r = redis.StrictRedis(host='localhost', port=6379, db=0)
p = r.pubsub()
p.subscribe('test')

while True:
    message = p.get_message()
    if message:
        print "Subscriber: %s" % message['data']
    time.sleep(1)

结果

  • 当我先运行sub.py，紧接着pub.py，我发现sub.py实际上显示了所有的消息(1-10)，一个接一个，中间有1秒的延迟。我最初的假设是错误的，Redis 正在排队消息。需要更多测试。
  • 当我先运行pub.py，然后等待5秒再运行sub.py，发现sub.py只显示消息的后半部分(5-10)。我最初会假设这一点，但鉴于我之前的结果，我会认为消息是排队的，这导致我得出以下结论......

结论

  • Redis 服务器似乎为每个客户端、每个 channel 的消息排队。
  • 只要客户端在监听，它读取消息的速度就没有关系。只要它处于连接状态，消息就会一直为该客户端、该 channel 排队。

剩下的问题

  • 这些结论有效吗？
  • 如果是这样，客户端/ channel 消息将在队列中保留多长时间？
  • 如果有，是否有 redis-cli info 命令查看排队的消息数量(针对每个客户端/ channel )？

最佳答案

测试有效，但结论部分错误。

Redis 不会在发布/订阅 channel 上排队。相反，它倾向于从发布者套接字读取项目，并将项目写入所有订阅者套接字，理想情况下是在事件循环的同一迭代中。 Redis 数据结构中没有任何内容。

现在，正如您所演示的，仍然存在某种缓冲。这是由于使用了 TCP/IP 套接字和 Redis 通信缓冲区。

套接字有缓冲区，当然，TCP 带有一些流控制机制。它避免了缓冲区已满时的数据丢失。如果订阅者不够快，数据将累积在其套接字缓冲区中。当它满了时，TCP会阻塞通信，阻止Redis在socket中推送更多信息。

Redis 还管理输出通信缓冲区(在套接字之上)以生成使用 Redis 协议(protocol)格式化的数据。所以当socket的输出缓冲区满时，事件循环会将socket标记为不可写，数据会留在Redis的输出缓冲区中。

如果 TCP 连接仍然有效，数据可以在缓冲区中保留很长时间。现在，套接字和 Redis 输出缓冲区都已绑定(bind)。如果订阅者真的太慢了​​，并且积累了大量数据，Redis 最终会关闭与订阅者的连接(作为一种安全机制)。

默认情况下，对于 pub/sub，Redis 的软限制为 8 MB，硬限制为 32 MB，每个连接缓冲区。如果输出缓冲区达到硬限制，或者在软硬限制之间停留超过 60 秒，则与慢速订阅者的连接将被关闭。

了解待处理消息的数量并不容易。可以通过查看套接字缓冲区和 Redis 输出缓冲区中未决信息的大小来评估它。

对于 Redis 输出缓冲区，您可以使用 CLIENT LIST command (来自 redis-cli)。输出缓冲区的大小在 obl 和 oll 字段中返回(以字节为单位)。

对于套接字缓冲区，没有 Redis 命令。但是，在 Linux 上，可以构建一个脚本来解释/proc/net/tcp 文件的内容。查看示例 here .该脚本可能需要适应您的系统。

关于python - Redis 发布订阅和消息队列，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27745842/

pythonRedis订阅者套接字套接redis-cli

有关python - Redis 发布订阅和消息队列的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  2. ruby-on-rails - 如何在 Rails View 上显示错误消息？ - 2

    我是rails的新手，想在form字段上应用验证。myviewsnew.html.erb.....模拟.rbclassSimulation{:in=>1..25,:message=>'Therowmustbebetween1and25'}end模拟Controller.rbclassSimulationsController我想检查模型类中row字段的整数范围，如果不在范围内则返回错误信息。我可以检查上面代码的范围，但无法返回错误消息提前致谢 最佳答案 关键是您使用的是模型表单，一种显示ActiveRecord模型实例属性的表单。c

  3. ruby - 分布式事务和队列，ruby，erlang，scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和

  4. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  5. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  6. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  7. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么？ - 2

    我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找，但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中，因为我们有一些奇怪的身份验证规则，我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点，但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook，WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=

  8. ruby-on-rails - 如何在发布新的 Ruby 或 Rails 版本时收到通知？ - 2

    有人知道在发布新版本的Ruby和Rails时收到电子邮件的方法吗？他们有邮件列表，RubyonRails有一个推特，但我不想听到那些随之而来的喧嚣，我只想知道什么时候发布新版本，尤其是那些有安全修复的版本。 最佳答案 从therailsblog获取提要.http://weblog.rubyonrails.org/feed/atom.xml 关于ruby-on-rails-如何在发布新的Ruby或Rails版本时收到通知？，我们在StackOverflow上找到一个类似的问题：

  9. Ruby - 如何将消息长度表示为 2 个二进制字节 - 2

    我正在使用Ruby，我正在与一个网络端点通信，该端点在发送消息本身之前需要格式化“header”。header中的第一个字段必须是消息长度，它被定义为网络字节顺序中的2二进制字节消息长度。比如我的消息长度是1024。如何将1024表示为二进制双字节？ 最佳答案 Ruby(以及Perl和Python等)中字节整理的标准工具是pack和unpack。ruby的packisinArray.您的长度应该是两个字节长，并且按网络字节顺序排列，这听起来像是n格式说明符的工作:n|Integer|16-bitunsigned,network(bi

  10. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

随机推荐