草庐IT

CELERY_ALWAYS_EAGER

全部标签

redis - 我应该如何处理 celery Tasks 中的 redis 连接?

我有一个celery服务器,可以为我的应用程序处理一些计数器classIncrementStatsCounterTask(Task):defrun(self,count,shortcode,stat_type,operator_id,date,**kwargs):r_server=redis.Redis(settings.REDIS_HOST)key=key_mask%{'shortcode':shortcode,'stat_type':stat_type,'operator_id':operator_id,'date':date.strftime('%Y%m%d')}returnke

redis - 我应该如何处理 celery Tasks 中的 redis 连接?

我有一个celery服务器,可以为我的应用程序处理一些计数器classIncrementStatsCounterTask(Task):defrun(self,count,shortcode,stat_type,operator_id,date,**kwargs):r_server=redis.Redis(settings.REDIS_HOST)key=key_mask%{'shortcode':shortcode,'stat_type':stat_type,'operator_id':operator_id,'date':date.strftime('%Y%m%d')}returnke

python - 如何将大量数据传递给 celery

我正在使用celeryworker从我的机器学习模型中获取结果。我正在做的是将大的numpy数组(几兆字节)从客户端发送到celery任务并返回。目前我正在将客户端numpy数组序列化为base64。当我直接从客户端或celeryworker上的Redis存储/获取数据时,系统的性能比/当我让celery完成所有参数传递(numpy的base64)时快得多。我也想使用celery(带有'redis'代理)来传递args/numpy数组,而不是直接在客户端中传递redis。你知道哪里会出问题吗?我如何设置celery的配置以更有效地执行此操作(在client->broker->worke

python - 如何将大量数据传递给 celery

我正在使用celeryworker从我的机器学习模型中获取结果。我正在做的是将大的numpy数组(几兆字节)从客户端发送到celery任务并返回。目前我正在将客户端numpy数组序列化为base64。当我直接从客户端或celeryworker上的Redis存储/获取数据时,系统的性能比/当我让celery完成所有参数传递(numpy的base64)时快得多。我也想使用celery(带有'redis'代理)来传递args/numpy数组,而不是直接在客户端中传递redis。你知道哪里会出问题吗?我如何设置celery的配置以更有效地执行此操作(在client->broker->worke

python - Django 模型不会保存到 Celery Task 中的数据库中

我遇到了一个非常糟糕的情况。我有以下设置。我有一个代表FSM的django模型djangoFSMfield我有一个celery任务,它发送一封电子邮件,然后推进主要对象FSM的状态。从celery任务的角度来看,对象“似乎”被保存了。但是从主django进程的角度来看,对象没有被更新。奇怪的是,辅助对象被正确保存到数据库中,稍后可以从主django进程访问。我在Celery任务的对象上显式调用了.save(),date_last_modified=models.DateTimeField(auto_now=True,null=True)字段有Celery任务中的时间戳比主线程晚,尽管我

python - Django 模型不会保存到 Celery Task 中的数据库中

我遇到了一个非常糟糕的情况。我有以下设置。我有一个代表FSM的django模型djangoFSMfield我有一个celery任务,它发送一封电子邮件,然后推进主要对象FSM的状态。从celery任务的角度来看,对象“似乎”被保存了。但是从主django进程的角度来看,对象没有被更新。奇怪的是,辅助对象被正确保存到数据库中,稍后可以从主django进程访问。我在Celery任务的对象上显式调用了.save(),date_last_modified=models.DateTimeField(auto_now=True,null=True)字段有Celery任务中的时间戳比主线程晚,尽管我

python - 如何检查 celery 结果后端是否正常工作

我正在使用带有Redis的celery。当前的Redis被用作代理和结果后端。BROKER_TRANSPORT='redis'BROKER_URL='redis://domain:8888/0'CELERY_RESULT_BACKEND='redis://domain:8888/0'我想清除一些东西:使用结果后端有什么好处?我的意思是我会通过使用它得到什么我如何才能看到它正在运行?我的意思是Redis中会存储一些东西吗?该存储将是永久性的吗?我该如何查询?存储空间会随着时间增长吗?我可以用celery花监控结果后端吗? 最佳答案 结

python - 如何检查 celery 结果后端是否正常工作

我正在使用带有Redis的celery。当前的Redis被用作代理和结果后端。BROKER_TRANSPORT='redis'BROKER_URL='redis://domain:8888/0'CELERY_RESULT_BACKEND='redis://domain:8888/0'我想清除一些东西:使用结果后端有什么好处?我的意思是我会通过使用它得到什么我如何才能看到它正在运行?我的意思是Redis中会存储一些东西吗?该存储将是永久性的吗?我该如何查询?存储空间会随着时间增长吗?我可以用celery花监控结果后端吗? 最佳答案 结

django - Docker&Celery - 错误 : Pidfile (celerybeat. pid) 已经存在

应用程序包括:-Django-雷迪斯-celery-docker-Postgres在将项目合并到docker中之前,一切都运行良好,但是一旦将其移入容器中,就开始出现问题。一开始一切正常,但过了一会儿我确实收到以下错误:celery-beat_1|ERROR:Pidfile(celerybeat.pid)alreadyexists.我已经为此苦苦挣扎了一段时间,但现在我真的放弃了。我不知道它有什么问题。docker文件:FROMpython:3.7ENVPYTHONUNBUFFERED1RUNmkdir-p/opt/services/djangoapp/srcCOPY/scripts/

django - Docker&Celery - 错误 : Pidfile (celerybeat. pid) 已经存在

应用程序包括:-Django-雷迪斯-celery-docker-Postgres在将项目合并到docker中之前,一切都运行良好,但是一旦将其移入容器中,就开始出现问题。一开始一切正常,但过了一会儿我确实收到以下错误:celery-beat_1|ERROR:Pidfile(celerybeat.pid)alreadyexists.我已经为此苦苦挣扎了一段时间,但现在我真的放弃了。我不知道它有什么问题。docker文件:FROMpython:3.7ENVPYTHONUNBUFFERED1RUNmkdir-p/opt/services/djangoapp/srcCOPY/scripts/