草庐IT

celery_worker

全部标签

python - 如何在 Celery worker 中正确连接到 mongodb?

学习Celery,阅读CeleryBestPractices,并且有一个关于Celery数据库使用的非常简单的问题。DeniBertovic说:Youshouldn'tpassDatabaseobjects(forinstanceyourUsermodel)toabackgroundtaskbecausetheserializedobjectmightcontainstaledata.那么,如果我想在worker中连接数据库,正确的选择是什么:@app.taskdefadd(x,y,collection):client=MongoClient('mongodb://localhost:

django - Celery 任务似乎可以完成除写入数据库之外的所有操作

我将Django与MongoEngine、django-celery和用于celery的MongoDB后端一起使用。我正在排队一项任务。该任务涉及从GridFS(通过MongoEngineFileField)获取文件,对其进行操作并将其放回数据库中。任务按预期运行,没有排队。当我对它进行排队时,它会转换文件,但不会写入数据库。这是我的settings.py的相关部分。#TheseareapparentlydefaultsthatIshouldn'tneedBROKER_BACKEND='mongodb'BROKER_HOST="localhost"BROKER_PORT=27017BR

python - 为什么 MongoDB 在 Celery 连接上无法识别我的用户?

我在DotCloud托管上有一个带有MongoDB数据库的Python/Flaskwebapp。我想使用MongoDB服务作为Celery队列在Python服务上设置Celery。Celery启动并找到我的celeryconfig.py文件,其中包含:BROKER_BACKEND="mongodb"BROKER_HOST="data.myapp.dotcloud.com"BROKER_PORT=8567BROKER_USER='myuser'BROKER_PASSWORD='mypass'CELERY_IMPORTS=('myapp.worker',)CELERY_IGNORE_RES

mongodb - celery 与 mongoDB 的工作示例

我是celery的新手,正在使用Celery运行异步任务。我想将我的任务结果保存到MongoDB。我想使用AMQP代理。Celery项目示例对我帮助不大。谁能给我指出一些工作示例? 最佳答案 要使用MongoDB作为后端存储,您必须明确配置Celery以使用MongoDB作为后端。http://docs.celeryproject.org/en/latest/getting-started/brokers/mongodb.html#broker-mongodb正如您所说,文档没有显示完整的工作示例。我刚开始玩Celery,但一直在使

Vue 3 中用组合式函数和 Shared Worker 实现后台分片上传(带哈希计算)

01.背景最近项目需求里有个文件上传功能,而客户需求里的文件基本上是比较大的,基本上得有1GiB以上的大小,而上传大文件尤其是读大文件,可能会造成卡UI或者说点不动的问题。而用后台的Worker去实现是一个比较不错的解决办法。02.原理讲解02.01.SharedWorkerSharedWorker的好处是可以从几个浏览上下文中访问,例如几个窗口、iframe或其他worker。这样我们可以保证全局的页面上传任务都在我们的控制之下,甚至可以防止重复提交等功能。02.02.组合式函数组合式函数的好处是在Vue3是可以在任何*.vue文件中使用,并且是响应式方法,可以侦听pinia内token等的

Hyperf 如何做到用两个端口 9501/9502 都能连接 Websocket 服务以及多 Worker 协作实现聊天室功能

为何 Hyperf 能够在两个端口上监听 WebSocket 连接?源码角度来看,在配置了多个 Servers 时,实际上,只启动了一个 Server注:我之前接触的代码都是启动一个服务绑定一个端口,之前也看过swoole扩展的文档,但是没留意服务和监听端口也是分离的,这启发了我一种思维,代码凡是能继续拆分的,就继续拆分,这样代码就会有更多的灵活,每个功能都能进行扩展,将服务和端口进行拆分之后,就可以在一个Server绑定多个Port,每个Port又能有独立的事件。/***@paramPort[]$servers*@returnPort[]*/protectedfunctionsortServ

mysql - 统计区、地区员 worker 数查询

基本上,我在HighCharts柱形图上的仪表板上工作,以表示一个地区的员worker数,当我单击该地区的列时,它应该向下钻取并显示该地区所有地区的员worker数.employee表连接District表,District表连接Region表。我试过下面的查询SELECTad.DISTRICT_NAME,COUNT(me.district_id),r.REGION_NAME,COUNT(me.district_id)FROM`master_employee`meINNERJOINapp_districtadONme.`district_id`=ad.`DISTRICT_UID`INN

php - 避免后台作业由两个 worker 同时运行

我有一个守护进程运行我们的网络服务请求的后台作业。我们有4个worker同时运行。有时一个作业会同时执行两次,因为两个worker决定运行那个作业。为了避免这种情况,我们尝试了几种方法:因为我们的作业来self们的数据库,所以我们添加了一个名为executed的标志,以防止其他作业获得已经开始执行的作业;这并不能解决问题,有时我们数据库的延迟足以同时执行;在系统中添加了memcached(所有工作人员都在同一系统中运行),但不知何故我们今天有同时运行的作业——memcached不能解决多个服务器的问题,因为好吧。这是我们目前使用的以下逻辑://Wecreateourmemcacheds

python - Worker进程运行时异常 "heroku local"

我最近获得了一个正在使用heroku构建的项目。我想在本地运行它但是我遇到了麻烦而且我对Heroku没有太多经验。这是我尝试在本地运行heroku时得到的结果。Mac终端命令kaMacintosh:zddevka$herokulocalforego|startingweb.1onport5000web.1|[2015-12-2615:12:43-0500][1741][INFO]Startinggunicorn19.4.1web.1|[2015-12-2615:12:43-0500][1741][INFO]Listeningat:http://0.0.0.0:5000(1741)web

python - 在 Celery 任务中保存对象后,Django 匹配查询不存在

我有以下代码:@task()defhandle_upload(title,temp_file,user_id):...photo.save()#ifiinserthere"photo2=Photo.objects.get(pk=photo.pk)"itworks,includingtheviewfunctionreturnphoto.pk#viewfunctiondefupload_status(request):task_id=request.POST['task_id']async_result=AsyncResult(task_id)photo_id=async_result.g