草庐IT

python - 用户启动的后台进程数量有限

coder 2023-08-17 原文

我需要允许用户提交对非常非常大的作业的请求。我们说的是 100 GB 的内存和 20 小时的计算时间。这让我们公司花了很多钱，所以规定任何时候只能运行2个作业，已经有2个作业再请求新的作业会被拒绝(并通知用户服务器忙)。

我当前的解决方案使用 concurrent.futures 中的执行器，并且需要将 Apache 服务器设置为仅运行一个进程，从而降低响应速度(当前用户数非常少，所以暂时没问题)。

如果可能的话，我想为此使用 Celery，但我没有在文档中看到任何方式来完成此特定设置。

如何在 Django 应用程序的后台运行有限数量的作业，并在作业因服务器繁忙而被拒绝时通知用户？

最佳答案

针对这种特殊情况，我有两种解决方案，一种是 celery 的现成解决方案，另一种是您自己实现的。

  1. 你可以对 celery worker 做这样的事情。特别是，您只创建两个并发=1 的工作进程(或者好吧，一个并发=2，但那将是线程，而不是不同的进程)，这样，只能完成两个工作异步地。现在你需要一种方法来在两个工作都被占用时引发异常，然后你使用 inspect , 计算事件任务的数量并在需要时抛出异常。如需实现，您可以查看 this SO post .

您可能还对 rate limits 感兴趣.

  1. 您可以使用所选的锁定解决方案自行完成所有工作。特别是，确保只有两个进程与 redis(和 redis-py)一起运行的一个很好的实现就像下面这样简单。 (考虑到你知道 Redis，因为你知道 celery )

    from redis import StrictRedis

redis = StrictRedis('localhost', '6379')
locks = ['compute:lock1', 'compute:lock2']
for key in locks:
    lock = redis.lock(key, blocking_timeout=5)
    acquired = lock.acquire()
    if acquired:
        do_huge_computation()
        lock.release()
        break
    print("Gonna try next possible slot")

if not acquired:
    raise SystemLimitsReached("Already at max capacity !")

这样你就可以确保系统中只能存在两个正在运行的进程。第三个进程将在 lock.acquire() 行中阻塞 blocking_timeout 秒，如果锁定成功，则 acquired 将为 True，否则它是假的，你会告诉你的用户等待!

我过去某个时候有过同样的需求，我最终编写的代码类似于上面的解决方案。特别是

  1. 这具有尽可能少的竞争条件
  2. 易于阅读
  3. 不依赖于系统管理员，在负载下突然将工作人员的并发性增加一倍并炸毁整个系统。
  4. 您还可以实现每个用户的限制，这意味着每个用户可以有 2 个同时运行的作业，只需更改 compute:lock1< 中的锁定="" key="" m=""> 相应地 compute:userId:lock1 和 lock2。你不能用 Vanilla celery 做这个。

关于python - 用户启动的后台进程数量有限，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39416623/

数量有限pythonstrongsectionlockdjangoasynchronouscelerybackground-process

有关python - 用户启动的后台进程数量有限的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  2. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  3. ruby - 通过 ruby​​ 进程共享变量 - 2

    我正在编写一个gem，我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器，因为应该只有这两个服务器在运行，而不是多个。在运行时，我想调用这两个服务器上的一些方法来更改变量。我的问题是，我无法通过基类的类方法访问fork的实例变量。此外，我不能在我的基类中使用线程，因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了，比如@@server。但是当我试图通过基类访问这个变量时，它是nil。我读到在Ruby中不可能在分支之间共享类变量，对吗？那么，还有其他解决办法吗？我考虑过使用单例，但我不确定这是

  4. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4，一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时，用户会更新。但是当我添加例如字段:name时，它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗？我也搜索过这个地方，找到了许多不同的解决方案，但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数，您可以在ApplicationController中使用beforefilter，因为Rails4将参数

  5. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  6. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  7. ruby - RVM "ERROR: Unable to checkout branch ."单用户 - 2

    我在新的Debian6VirtualBoxVM上安装RVM时遇到问题。我已经安装了所有需要的包并使用下载了安装脚本(curl-shttps://rvm.beginrescueend.com/install/rvm)>rvm，但以单个用户身份运行时bashrvm我收到以下错误消息:ERROR:Unabletocheckoutbranch.安装在这里停止，并且(据我所知)没有安装RVM的任何文件。如果我以root身份运行脚本(对于多用户安装)，我会收到另一条消息:Successfullycheckedoutbranch''安装程序继续并指示成功，但未添加.rvm目录，甚至在修改我的.bas

  8. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  9. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  10. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

随机推荐