我正在开发一个 Web 后端/API 提供程序，它从第 3 方 Web API 获取实时数据，将其放入 MySQL 数据库并通过 HTTP/JSON API 提供。
我正在使用 flask 提供 API，并使用 SQLAlchemy Core 处理数据库。
对于实时数据抓取部分，我有通过发送请求、将返回的 xml 解析为 Python dict 并返回它来包装第 3 方 API 的函数。我们将调用这些 API 包装器。
然后我在其他获取相应数据的方法中调用这些函数，根据需要进行任何处理(如时区转换等)并将其放入数据库中。我们将调用这些处理器。
我一直在专门阅读有关异步 I/O 和 eventlet 的内容，给我留下了深刻的印象。
我将把它合并到我的数据抓取代码中，但我首先有一些问题:
猴子修补所有东西对我来说安全吗？考虑到我有 flask 、SQLAlchemy 和一堆其他的库，猴子修补有什么缺点吗(假设没有后期绑定(bind))？
我应该将任务划分到什么粒度？我正在考虑创建一个定期生成处理器的池。然后，一旦处理器到达它调用 API 包装器的部分，API 包装器将启动一个 GreenPile 以使用 eventlet.green.urllib2 获取实际的 HTTP 数据。这是一个好方法吗？
仅供引用，我有大约 10 组不同的实时数据，并且每大约 5-10 秒生成一个处理器。
谢谢!
最佳答案
我认为将 Flask/SQLAlchemy 与异步样式(或事件驱动)编程模型混合使用并不明智。
但是，既然您声明您正在使用 RDBMS (MySQL) 作为中间存储，那么您为什么不创建异步工作程序来将来自第三方 Web 服务的结果存储在 RDMBS 中，并保留您的前端(Flask/SQLAlchemy)同步？
在这种情况下，您不需要对 Flask 或 SQLAlchemy 进行 monkeypatch。
关于粒度，您可能希望使用 mapreduce执行 Web API 调用和处理的范例。此模式可能会让您了解如何在逻辑上分隔连续的步骤，以及如何控制所涉及的流程。
但就个人而言，我不会使用异步框架来执行此操作。使用多处理可能会更好，Celery ，或像 Hadoop 这样的真正的 mapreduce 系统.
只是一个提示:从小处着手，保持简单和模块化，如果您需要更好的性能，稍后再进行优化。这也可能在很大程度上受到您希望信息的实时性的影响。
关于python - Eventlet/通用异步 I/O 任务粒度，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10760959/
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby中使用两个参数异步运行exe吗？我已经尝试过ruby命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何rubygems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除
如何使用RSpec::Core::RakeTask初始化RSpecRake任务？require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录；它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o
我想解析一个已经存在的.mid文件，改变它的乐器，例如从“acousticgrandpiano”到“violin”，然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容，该乐器通过program_change或patch_change指令进行了更改，但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作，但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成，每个音轨是十六个channel中任何一个上的
本文主要介绍在使用Selenium进行自动化测试或者任务时，对于使用了iframe的页面，如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候，可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签，如果直接查找是无法找到的，会抛出没有找到元素的异常。比如近在咫尺的例子就是，CSDN的登录窗体就是使用的iframe，大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素，会抛出NoSuchElementException异常。解决
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
