我正在使用Celery将任务分发到多个服务器。出于某种原因，将7,000个任务添加到队列中非常慢，而且似乎是CPU受限的。执行下面的代码需要12秒，这只是将任务添加到队列中。start=time.time()forurlinurls:fetch_url.apply_async((url.strip(),),queue='fetch_url_queue')printtime.time()-start在broker之间切换(试过redis、RabbitMQ、pyamqp)并没有太大的影响。减少工作人员的数量(每个工作人员都在自己的服务器上运行，与添加任务的主服务器分开)没有任何显着影响。传
好几天一切正常，但随后我在.get()上无限期挂起。发生无限期挂起所需的时间各不相同，但在运行24到72小时之间。我怀疑这与Redis代理有关。redis-cli中CLIENTLIST的输出显示大量连接具有非常高的空闲数(见下文)。但我不知道这是否是一个问题或为什么这会导致Celery的.get()无限期挂起。我已经确认这不是由长时间运行的任务引起的。我还在其中一个工作进程上运行了strace和lsof，但我无法从输出中收集到任何有用信息:straceoutput、lsofoutput。在收到.get通知后不久，我在主服务器(我有1个主服务器和6个工作服务器)的redis-cli中运行
好几天一切正常，但随后我在.get()上无限期挂起。发生无限期挂起所需的时间各不相同，但在运行24到72小时之间。我怀疑这与Redis代理有关。redis-cli中CLIENTLIST的输出显示大量连接具有非常高的空闲数(见下文)。但我不知道这是否是一个问题或为什么这会导致Celery的.get()无限期挂起。我已经确认这不是由长时间运行的任务引起的。我还在其中一个工作进程上运行了strace和lsof，但我无法从输出中收集到任何有用信息:straceoutput、lsofoutput。在收到.get通知后不久，我在主服务器(我有1个主服务器和6个工作服务器)的redis-cli中运行
我在我的docker设置中使用celery和redis作为两个服务。配置如下:redis:image:redis:latesthostname:redisports:-"0.0.0.0:6379:6379"command:--requirepassPASSWORDceleryworker:当我尝试构建我的容器并在工作人员准备好后安排一些工作时，我得到一个异常[2018-03-2004:40:52,082:WARNING/Beat]redis.exceptions.ResponseError:NOAUTHAuthenticationrequired.我一直无法弄清楚还需要什么配置才能使此
我在我的docker设置中使用celery和redis作为两个服务。配置如下:redis:image:redis:latesthostname:redisports:-"0.0.0.0:6379:6379"command:--requirepassPASSWORDceleryworker:当我尝试构建我的容器并在工作人员准备好后安排一些工作时，我得到一个异常[2018-03-2004:40:52,082:WARNING/Beat]redis.exceptions.ResponseError:NOAUTHAuthenticationrequired.我一直无法弄清楚还需要什么配置才能使此
我的第一个Celery程序看起来是这样的——我非常关注gettingstartedinstructions:fromceleryimportCeleryimporttimeapp=Celery("celery_test",broker="redis://",backend="redis://")@app.taskdefgreet(who):print(f"Hello{who}")@app.taskdefadd(x,y):returnx+y@app.taskdeflong(sleep_time):time.sleep(sleep_time)尝试通过backend='redis://'设置
我的第一个Celery程序看起来是这样的——我非常关注gettingstartedinstructions:fromceleryimportCeleryimporttimeapp=Celery("celery_test",broker="redis://",backend="redis://")@app.taskdefgreet(who):print(f"Hello{who}")@app.taskdefadd(x,y):returnx+y@app.taskdeflong(sleep_time):time.sleep(sleep_time)尝试通过backend='redis://'设置
我使用Redis在我的Django项目上安装了Celery。计划任务正在运行，没有问题。使用delay()触发异步任务时会出现问题。执行停止，就像在kombu.utils.retry_over_time的循环中被阻塞。我检查过，Redis已启动并正在运行。我真的不知道如何调试这个问题。这里是一些包版本Django==2.1.2celery==4.2.1django-celery-beat==1.4.0django-celery-results==1.0.4redis==3.2.0kombu==4.4.0设置CELERY_REDIS_HOST='localhost'CELERY_REDI
我使用Redis在我的Django项目上安装了Celery。计划任务正在运行，没有问题。使用delay()触发异步任务时会出现问题。执行停止，就像在kombu.utils.retry_over_time的循环中被阻塞。我检查过，Redis已启动并正在运行。我真的不知道如何调试这个问题。这里是一些包版本Django==2.1.2celery==4.2.1django-celery-beat==1.4.0django-celery-results==1.0.4redis==3.2.0kombu==4.4.0设置CELERY_REDIS_HOST='localhost'CELERY_REDI
如何从Celery后端获取数据(我真正需要的是任务的状态)？我正在使用Redis。 最佳答案 假设您将CELERY_RESULT_BACKEND配置为使用redis(seehere)，那么您可以使用各种methods来监控您的应用程序.我相信celeryctl应该足够了.. 关于python-从celery的后端(redis)获取数据，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions
