草庐IT

max_workers

全部标签

spring - 使用 Java、spring、redis 的作业队列和 Worker

我想创建Jobs和Workers并处理由REST请求创建的每个Jobs,我还想为单个工作设置多级workers。场景:我的客户将通过RESTAPI发布请求,每个REST请求都是耗时的作业将该请求作为新作业存储到数据库中,并将ID存储到redis中定义一个worker,它将从redis中提取ID处理作业并使该数据库记录完成是否有任何框架和技术或技术组合可用于在SpringMVC或JAXRSJersey上创建我的工作和工作人员。我已经使用PHP、LaravelQueue、LaravelHorizo​​n和Redis完成了完全相同类型的项目,但现在我需要使用JavaTechStack进行开发

python-3.x - 如何修复 flask RQ worker 中的无模块错误

我正在使用docker-compose构建一个带有Redis和worker的网络应用程序。此外,我有rq-dashboard来监控。整个项目在vagrant-ubuntu环境下项目结构:project/app_main/moduleA/classA-Thetasktodojobs.py-Implementsthejobqueue.py-Hasthecodeperform.queue(id)scripts/worker/dockerfileworker.pydockerfiledocker-compose.ymlapp.pydocker构建正确,应用程序运行良好。但是当worker运行时

python - 启动 rq-worker 时如何修复 'Error 111 connecting to localhost:6379. Connection refused'?

我在托管在debian9机器上的Web应用程序中使用flask、redis和rq-worker。当我启动rq-worker时,我收到此错误:“错误111连接到本地主机:6379。连接被拒绝”。我已经检查过Redis是否已安装并正在运行,我尝试了这些命令:/opt/apps/mywebapp/flask$psaux|grepredissib49870.00.012784976pts/2S+09:370:00grepredisredis65740.10.0408603512?Sslmay283:38/usr/bin/redis-server127.0.0.1:6379/opt/apps/m

python - 如何为在线用户创建我的 Flask 应用程序的 rq worker? (使用redis服务器)

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗?更新问题,使其只关注一个问题editingthispost.关闭3年前。Improvethisquestion我对rqworkers的工作方式感到困惑!我创建了一个flaskweb应用程序,它在redis服务器上运行后台进程,然后返回结果。到目前为止,在开发过程中,我一直在使用命令行在我的机器上启动rq工作进程。但是,现在我已准备好在线启动我的应用程序。但是,当远程用户尝试在线运行应用程序时,工作人员托管在哪里?我尝试使用withConnection():在我的代码中直接启动它们,它起作用了,但它也中断了启动We

ruby-on-rails - 如何从 Resque worker 向 Redis 发送数据?

我正在尝试创建一个resqueworker,它将一些网络抓取作为后台工作。工作人员收到网站主页的URL,进行一些网络抓取,然后将结果存储在Redis中,并在其中保留五分钟。下面的代码看起来是否应该完成我上面描述的内容?classTrialScraper@queue=:trial_scraper_queuedefself.perform(homepage)hashed_site_data={:homepage=>{:url=>homepage,:title=>download_title(homepage),:meta_tags=>download_robots_tags(homepag

laravel - 放慢 Laravel worker

我已经将Redis与Laravel连接起来用于排队电子邮件,一切都很好......但在开发环境中,我使用mailtrap.io(免费版)。问题是mailtrap每秒只允许接收2封电子邮件,所以我从来没有收到所有排队的电子邮件,因为redis疯狂地发送电子邮件......可能每秒10封有什么办法可以减慢队列速度,使其每秒最多发送2封邮件? 最佳答案 是的,这是一个解决方案,它们被称为工作:)您可以创建一个文件来专门在Jobs文件夹和这样的类中发送电子邮件classSendPushNotificationextendsJobimplem

python - 如何将 Python RQ worker 连接到 unix 套接字上的 redis 服务器?

我正在尝试将RQworker连接到Unix域套接字上的Redis服务器。我试过以下方法$rqworker--url'/path/to/redis.sock'Error111connectingtoNone:6379.Connectionrefused.$rqworker--url'redis:///path/to/redis.sock'Error111connectingtoNone:6379.Connectionrefused.$rqworker--url'redis+socket:///path/to/redis.sock'Error111connectingtoNone:6379

python - Flask Redis 队列 (RQ) worker 无法导入名为 app 的模块

我有一个名为modeling-manager的flask应用程序正在运行,它正在接收来自另一个flask应用程序的发布请求。'直到那里一切正常。(所有文件都位于同一个文件夹中)当被post请求触发时,Modeling-manager会在Redis中注册一个作业供worker执行。要执行的作业称为run_model(),它存储在main.py(flask应用程序)中的不同文件和导入器中worker在与建模管理器应用程序相同的docker上启动。使用脚本:worker.pymain.py->flask应用程序fromflaskimportFlask,request,jsonifyimpor

ruby-on-rails - Redis::InheritedError 调用 Sidekiq worker 时

每当我调用Sidekiqworker时,我都会收到以下错误:Redis::InheritedError(Triedtouseaconnectionfromachildprocesswithoutreconnecting.YouneedtoreconnecttoRedisafterforking.)我在Heroku上托管并使用通过connection_poolgem连接到的RedisCloud。这是redis.rb:ifRails.configuration.redis_uri.present?$redis=ConnectionPool.new(:size=>8,:timeout=>30

redis - 我可以使用 sidekiq/redis 在 worker 的 perform 方法中获取当前队列吗?

我希望能够删除队列中的所有作业,但我不知道它是什么队列。我在我的工作人员的执行方法中,我需要获取“当前队列”,即当前作业来自的队列。这次我使用:require'sidekiq/api'queue=Sidekiq::Queue.newqueue.eachdo|job|job.deleteend因为我只是使用“默认队列”,所以它可以工作。但现在我会使用很多队列,我不能只为这个工作人员指定一个队列,因为我需要使用很多队列来实现服务器负载平衡。那么我如何才能在perform方法中获取我们所在的队列?谢谢。 最佳答案 你不能设计,这是工作的正