草庐IT

python - 一个干净、轻量级的 Python 扭曲替代品？

coder 2023-04-28 原文

关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。












想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。

6年前关闭。




Improve this question




不久前，我写了一个 web-spider，我对它进行了多线程处理，以使并发请求能够同时发生。那是在我的 Python 青年时期，在我知道 GIL 之前的日子里以及它为多线程代码创建的相关问题(即，大多数情况下，东西都以序列化结束!)...

我想重新编写此代码以使其更健壮并性能更好。基本上有两种方法可以做到这一点:我可以使用新的 multiprocessing module在 2.6+ 中，或者我可以使用某种 react 器/基于事件的模型。我宁愿做后者，因为它更简单，更不容易出错。

因此，问题涉及哪种框架最适合我的需求。以下是我目前所知道的选项列表:

  • Twisted : Python reactor 框架的鼻祖:不过看起来很复杂而且有点臃肿。小任务的陡峭学习曲线。
  • Eventlet : 来自 lindenlab 的人.面向此类任务的基于 Greenlet 的框架。不过我看了一下代码，它不是太漂亮:不符合 pep8，散落着打印(为什么人们在框架中这样做!？)，API 似乎有点不一致。
  • PyEv : 不成熟，现在似乎没有人使用它，尽管它基于 libevent，所以它有一个可靠的后端。
  • asyncore :来自标准库:über 低级，似乎只是为了使某些东西起步而涉及很多跑腿工作。
  • tornado :虽然这是一个面向服务器的产品，旨在为动态网站提供服务器，但它确实具有 async HTTP client和一个简单的 ioloop .看起来它可以完成工作，但不是它的目的。
    [编辑:不幸的是，它不能在 Windows 上运行，这对我来说很重要 - 这是我支持这个蹩脚平台的要求]

    • 有什么我错过的吗？肯定有一个库适合简化的异步网络库的最佳位置!

    [编辑:非常感谢 intgr因为他指向 this page .如果你滚动到底部，你会看到一个非常好的项目列表，旨在以一种或另一种方式解决这个任务。实际上，自 Twisted 成立以来，事情确实发生了变化:人们现在似乎更喜欢 co-routine基于解决方案，而不是传统的 react 器/回调导向的解决方案。这种方法的好处是代码更清晰更直接:我过去肯定发现过，尤其是在使用 boost.asio 时。在 C++ 中，基于回调的代码可能导致设计难以遵循，并且对于未经训练的眼睛来说相对模糊。使用协同程序可以让您编写至少看起来更同步的代码。我想现在我的任务是找出我喜欢这些库中的哪一个并试一试!很高兴我现在问...]

    [编辑:任何关注或偶然发现此问题或在任何意义上关心此主题的人都可能感兴趣:我发现了一篇关于 the available tools 当前状态的非常棒的文章|对于这份工作]

    最佳答案

    Twisted 很复杂，你是对的。扭曲不臃肿。

    如果你看这里:http://twistedmatrix.com/trac/browser/trunk/twisted你会发现一个有组织的、全面的、经过充分测试的互联网协议(protocol)套件，以及用于编写和部署非常复杂的网络应用程序的帮助代码。我不会将膨胀与全面性混淆。

    众所周知，Twisted 文档乍一看并不是对用户最友好的，我相信这会让很多不幸的人望而却步。但如果你花时间，扭曲是惊人的(恕我直言)。我做到了，事实证明这是值得的，我建议其他人也尝试一下。

    关于python - 一个干净、轻量级的 Python 扭曲替代品？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1824418/

    轻量级替代品noreferrernoopenernofollowpythonnetworkingtwistedasynchronous

    有关python - 一个干净、轻量级的 Python 扭曲替代品？的更多相关文章

    1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

      关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

    2. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

      使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

    3. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

      我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

    4. ruby-on-rails - 渲染另一个 Controller 的 View - 2

      我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

    5. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

      在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

    6. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

      如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

    7. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串？ - 2

      关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？

    8. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

      我有一个正在构建的应用程序，我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是，在make_tires内部有一个错误，如果我为Tire尝试它，则没有用于创建或新建的activerecord方法。当我检查轮胎时，它没有这些方法。我该如何补救？错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发，它们都因相同的错误而失败。 最佳答案

    9. ruby-on-rails - 更好的替代方法 try( :output). try( :data). try( :name)? - 2

      “输出”是一个序列化的OpenStruct。定义标题try(:output).try(:data).try(:title)结束什么会更好？:) 最佳答案 或者只是这样:deftitleoutput.data.titlerescuenilend 关于ruby-on-rails-更好的替代方法try(:output).try(:data).try(:name)?，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.c

    10. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

      我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

    随机推荐