草庐IT

python - 通信队列结束

coder 2023-08-18 原文

我正在学习使用 Queue 模块,并且对如何使队列使用者线程知道队列已完成感到有些困惑。理想情况下,我想使用 get()如果队列已标记为“完成”,则从使用者线程中抛出异常。有没有比通过附加哨兵值来标记队列中的最后一项更好的方式来传达这一点?

最佳答案

原始(其中大部分已更改;请参阅下面的更新)

基于suggestions的一些(谢谢!)的 Glenn Maynard和其他人,我决定卷起 Queue.Queue 的后代实现了 close方法。它以原始(未打包)的形式提供 module .当我有更多时间时,我会稍微清理一下并妥善包装它。目前该模块仅包含 CloseableQueue类和 Closed异常类。我计划将其扩展为还包括 Queue.LifoQueue 的子类和 Queue.PriorityQueue .

它目前处于非常初步的状态,也就是说,虽然它通过了它的测试套件,但我实际上还没有将它用于任何事情。你的旅费可能会改变。我会用令人兴奋的消息更新这个答案。
CloseableQueue class 与 Glenn 的建议略有不同,即关闭队列将阻止 future put s,但不能阻止 future get s 直到队列被清空。这对我来说最有意义;似乎可以将清除队列的功能添加为与可关闭性功能正交的单独 mixin*。所以基本上是CloseableQueue , 通过关闭队列表明最后一个元素是 put .还有一个选项可以通过传递 last=True 以原子方式执行此操作到最后put称呼。随后调用 put ,随后调用 get一旦队列被清空,以及与这些描述匹配的未完成的阻塞调用,将引发 Closed异常(exception)。

这对于单个生产者为一个或多个消费者生成数据的情况非常有用,但对于消费者正在等待特定项目或一组项目的多方安排也很有用。特别是它没有提供一种方法来确定所有生产者都已完成生产。要使该工作正常进行,需要提供某种方式来注册生产者 (.open() ?),以及一种表明生产者注册本身已关闭的方法。

非常欢迎建议和/或代码审查。我没有编写大量并发代码,但希望测试套件足够彻底,代码通过的事实表明代码质量,而不是套件缺乏质量。我能够重用队列模块测试套件中的一堆代码:文件本身包含在该模块中,并用作各种子类和例程的基础,包括回归测试。这可能(希望)有助于避免测试部门完全无能。代码本身只是覆盖 Queue.getQueue.put更改相当少,并添加了 closeclosed方法。

我有意避免在代码本身和测试套件中使用任何新奇的幻想,如上下文管理器,以努力使代码像 Queue 模块本身一样向后兼容,这确实是相当向后的。我可能会添加 __enter____exit__在某些时候的方法;否则,上下文库的 closing函数应该适用于 CloseableQueue 实例。

*:这里我松散地使用术语“mixin”。如Queue模块的类是老式的,需要使用类工厂函数混合混合;适用一些限制;在 Guido 禁止的情况下,报价无效。

更新

CloseableQueue模块现在提供 CloseableLifoQueueCloseablePriorityQueue类。我还添加了一些方便的函数来支持迭代。仍然需要将其重新加工为适当的包装。有一个类工厂函数可以方便地继承其他 Queue.Queue - 派生类。

更新 2
CloseableQueue现在可通过 PyPI 获得,例如和

$ easy_install CloseableQueue

欢迎评论和批评,尤其是来自此答案的匿名投票者。

关于python - 通信队列结束,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3605188/

有关python - 通信队列结束的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  2. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此

  3. ruby - 分布式事务和队列,ruby,erlang,scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此,例如用户点击网页,点击将消息发送到另一台机器,该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情,但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交,但协议(protocol)是阻塞的,所以我不会获得所需的性能,我是否正确?我通常写Ruby,但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交,如果Redis崩溃,数据也会丢失,因为它本质上只是内存。所有这些让我开始关注erlang和

  4. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意,但是谷歌搜索||=并不是很有帮助;)Python中是否有与Ruby和Perl中的||=语句等效的语句?例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外,类似这样的东西的通用术语是什么?条件分配是我的第一个猜测,但Wikipediapage跟我想的不太一样。

  5. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi? - 2

    什么是ruby​​的rack或python的Java的wsgi?还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  6. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  7. python - 如何读取 MIDI 文件、更改其乐器并将其写回? - 2

    我想解析一个已经存在的.mid文件,改变它的乐器,例如从“acousticgrandpiano”到“violin”,然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容,该乐器通过program_change或patch_change指令进行了更改,但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作,但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成,每个音轨是十六个channel中任何一个上的

  8. 「Python|Selenium|场景案例」如何定位iframe中的元素? - 2

    本文主要介绍在使用Selenium进行自动化测试或者任务时,对于使用了iframe的页面,如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候,可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签,如果直接查找是无法找到的,会抛出没有找到元素的异常。比如近在咫尺的例子就是,CSDN的登录窗体就是使用的iframe,大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素,会抛出NoSuchElementException异常。解决

  9. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

  10. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

随机推荐