草庐IT

celery_worker

全部标签

node.js - redis rsmq worker 无法从 redis 队列中获取消息

我正在尝试使用redis+node+docker编写rsmqworker集成。我创建了三个独立的容器制作人redis消费者所有三个容器都在同一台机器上运行(localhost)。当我要将消息从生产者容器发送到redis队列时,它成功运行,但消费者无法自动从同一队列中提取消息。不过,我已经检查了所有三个容器并验证了网络配置。这是ping。我使用rsmq-worker作为redis消费者。令我惊讶的是,它在以下两种情况下有效我将我的消费者移动到与REDIS容器相同的容器中,它拉取消息。但是,正如我提到的,当消费者位于与REDIS不同的容器中时,它不起作用。另外,当我有三个单独的容器并且我使

django - ConnectionAbortedError - 如果 Celery 停止/失败或 Redis 未启动。我如何捕获/除此错误/

我有一个与Redis一起工作的Celery任务:@app.task(bind=True,name='task_a',max_retries=4,soft_time_limit_exception=300)deftask_a(self,a,b):try:#somecodehereexceptExceptionase:raiseself.retry(exc=e,countdown=exponential_backoff(self))defexponential_backoff(task_self):minutes=task_self.default_retry_delay/60rand=r

django - ConnectionAbortedError - 如果 Celery 停止/失败或 Redis 未启动。我如何捕获/除此错误/

我有一个与Redis一起工作的Celery任务:@app.task(bind=True,name='task_a',max_retries=4,soft_time_limit_exception=300)deftask_a(self,a,b):try:#somecodehereexceptExceptionase:raiseself.retry(exc=e,countdown=exponential_backoff(self))defexponential_backoff(task_self):minutes=task_self.default_retry_delay/60rand=r

python - Canonical Celery 单文件 hello world

我似乎无法在网上的任何地方找到一个可以使用Celery和Python从头到尾运行的文件来演示它,所以我尝试制作一个。由于某种原因,这不起作用,我是Celery的新手。在test_celery.py中,我添加了以下内容:fromceleryimportCeleryimporttimeapp=Celery('test_celery',broker='redis://localhost/0',backend='redis://localhost/1')@app.taskdefadd(x,y):time.sleep(2)returnx+yif__name__=='__main__':resul

python - Canonical Celery 单文件 hello world

我似乎无法在网上的任何地方找到一个可以使用Celery和Python从头到尾运行的文件来演示它,所以我尝试制作一个。由于某种原因,这不起作用,我是Celery的新手。在test_celery.py中,我添加了以下内容:fromceleryimportCeleryimporttimeapp=Celery('test_celery',broker='redis://localhost/0',backend='redis://localhost/1')@app.taskdefadd(x,y):time.sleep(2)returnx+yif__name__=='__main__':resul

python - 特定于队列的 Celery 事件

我有两个Django项目,每个项目都有一个Celery应用程序:-fooproj.celery_app-barproj.celery_app每个应用都在运行自己的Celeryworker:celeryworker-Afooproj.celery_app-linfo-E-Qfoo_queueceleryworker-Abarproj.celery_app-linfo-E-Qbar_queue以下是我配置Celery应用程序的方式:importosfromceleryimportCeleryfromdjango.confimportsettings#setthedefaultDjangos

python - 特定于队列的 Celery 事件

我有两个Django项目,每个项目都有一个Celery应用程序:-fooproj.celery_app-barproj.celery_app每个应用都在运行自己的Celeryworker:celeryworker-Afooproj.celery_app-linfo-E-Qfoo_queueceleryworker-Abarproj.celery_app-linfo-E-Qbar_queue以下是我配置Celery应用程序的方式:importosfromceleryimportCeleryfromdjango.confimportsettings#setthedefaultDjangos

redis - celery 多个 worker ,但一个队列

我是celery和redis的新手。我使用redis-server启动了我的redis服务器。Celery是使用这个参数运行的celery-Aprojworker没有其他配置。但是,我意识到当我在celery中有一个长时间运行的作业时,在长时间运行的任务完成之前,它不会处理队列中的另一个任务。我的理解是,由于我的CPU上有8个内核,我应该能够同时处理8个任务,因为-c的默认参数是内核数?我是不是漏掉了什么? 最佳答案 你的问题很经典,每个有长时间运行任务的人都遇到过这个问题。根本原因是celery试图优化您的执行流程,为每个工作人员

redis - celery 多个 worker ,但一个队列

我是celery和redis的新手。我使用redis-server启动了我的redis服务器。Celery是使用这个参数运行的celery-Aprojworker没有其他配置。但是,我意识到当我在celery中有一个长时间运行的作业时,在长时间运行的任务完成之前,它不会处理队列中的另一个任务。我的理解是,由于我的CPU上有8个内核,我应该能够同时处理8个任务,因为-c的默认参数是内核数?我是不是漏掉了什么? 最佳答案 你的问题很经典,每个有长时间运行任务的人都遇到过这个问题。根本原因是celery试图优化您的执行流程,为每个工作人员

ruby-on-rails - 如何杀死 Heroku 上的 resque worker?

我正在使用本指南使用Redis设置Resquehttp://blog.redistogo.com/2010/07/26/resque-with-redis-to-go/我已经全部设置好了,当我放入一些东西时,它会出现在我的重新请求队列中。它在heroku上,所以我运行herokurakeresque:workQUEUE=*(in/app)StartingtheNewRelicAgent.InstalledNewRelicBrowserMonitoringmiddlewareConnectedtoNewRelicServiceatcollector-1.newrelic.com:80^C