草庐IT

python - 用于 elasticbeanstalk 上自动缩放的 django 应用程序的多个 celerybeat 实例

coder 2023-08-18 原文

我正在尝试找出构建 Django 应用程序的最佳方法,该应用程序使用 Celery 在自动扩展的 AWS ElasticBeanstalk 环境中处理异步和计划任务。

到目前为止,我只使用了带有 Celery + Celerybeat 的单实例 Elastic Beanstalk 环境,而且效果非常好。但是,我希望在我的环境中运行多个实例,因为时不时有一个实例崩溃,并且需要很长时间才能备份该实例,但我无法将当前架构扩展到多个实例,因为Celerybeat 应该只在所有实例中运行一次,否则 Celerybeat 安排的每个任务都将提交多次(环境中的每个 EC2 实例一次)。

我已经阅读了多种解决方案,但它们似乎都存在不适合我的问题:

  • 使用 django 缓存 + 锁定:这种方法更像是一种快速修复,而不是真正的解决方案。如果您有很多计划任务并且需要添加代码来检查每个任务的缓存,那么这不是解决方案。此外,任务仍然会被多次提交,这种方法只能确保停止执行重复项。
  • 将 leader_only 选项与 ebextensions 一起使用:最初工作正常,但如果环境中的 EC2 实例崩溃或被替换,这将导致根本没有 Celerybeat 运行的情况,因为领导者仅在创建时定义一次环境。
  • 为 Elastic Beanstalk 工作层中的异步任务创建一个新的 Django 应用程序:很好,因为网络服务器和工作人员可以独立扩展,并且网络服务器性能不会受到工作人员执行的大量异步工作负载的影响。但是,这种方法不适用于 Celery,因为工作层 SQS 守护程序会删除消息并将消息正文发布到预定义的 url。此外,我不喜欢拥有一个完整的附加 Django 应用程序的想法,该应用程序需要从主应用程序导入模型,并且如果在主应用程序中修改了任务,则需要单独更新和部署。

如何在分布式 Elastic Beanstalk 环境中将 Celery 与计划任务结合使用,而无需重复任务?例如。我如何才能确保在 Elastic Beanstalk 环境中所有实例始终运行一个实例(即使当前使用 Celerybeat 的实例崩溃)?

还有其他方法可以实现吗?将 Elastic Beanstalk 的工作层环境与 Django 结合使用的最佳方式是什么?

最佳答案

我想您可以将 celery beat 分给不同的组。

您的自动缩放组运行多个 django 实例,但 celery 未包含在缩放组的 ec2 配置中。

你应该有一组不同的(或只有一组)celery beat 实例

关于python - 用于 elasticbeanstalk 上自动缩放的 django 应用程序的多个 celerybeat 实例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40120312/

有关python - 用于 elasticbeanstalk 上自动缩放的 django 应用程序的多个 celerybeat 实例的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  3. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题

  4. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  5. ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2

    我有多个ActiveRecord子类Item的实例数组,我需要根据最早的事件循环打印。在这种情况下,我需要打印付款和维护日期,如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询,用于查找maintenance和payment项目(非排他性查询),并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代

  6. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前,我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞,我可以在一个地方轻松完成,而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  7. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  8. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此

  9. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  10. ruby-on-rails - 如何使用 instance_variable_set 正确设置实例变量? - 2

    我正在查看instance_variable_set的文档并看到给出的示例代码是这样做的:obj.instance_variable_set(:@instnc_var,"valuefortheinstancevariable")然后允许您在类的任何实例方法中以@instnc_var的形式访问该变量。我想知道为什么在@instnc_var之前需要一个冒号:。冒号有什么作用? 最佳答案 我的第一直觉是告诉你不要使用instance_variable_set除非你真的知道你用它做什么。它本质上是一种元编程工具或绕过实例变量可见性的黑客攻击

随机推荐