草庐IT

DISPATCH_QUEUE_CONCURRENT

全部标签

node.js - Node : Async job queue processing

我在nodejs中使用express开发一个经常与mongodb通信的网络应用程序。目前,我使用自己的作业队列系统运行生产,该系统仅在前一个作业完成后才开始处理作业(kue似乎采用了这种方法)。对我来说,这似乎非常低效,我希望有一个更加异步的作业队列,所以我正在寻找一些关于其他nodejs开发人员如何对他们的作业进行排队和构建他们的处理的建议。我的一个想法是处理任何立即收到的作业,并按添加顺序返回结果数据。还要考虑:目前每个用户都有自己独立的作业队列实例,这是正常做法吗?有什么理由不应该这样吗?(即,所有用户都将作业发送到一个通用队列?)如有任何意见/建议,我们将不胜感激。

redis - 遗漏消息使用redis的queue-outbound adapter分发任务

我正在使用s.i.提供的两个组件。拥有一个有效的分配系统消息(任务)被发送到这个名为distribution的channel;分发有一个与通知系统关联的窃听器,因此当消息通过分发时我可以通过jconsole或任务控制看到:然后我用redis做队列系统:使用以下配置和2个服务器,每个服务器占用50%的消息;主要是一台服务器有web服务接口(interface),把消息放入输入队列,然后所有订阅和阻塞的服务器都在获取消息(任务)但是当我加速系统时,有消息丢失。我不知道为什么,也不知道我能做什么。我已经增加了redis池值,但这个问题仍然存在,我是不是做错了什么,或者我怎样才能在分发组件中实

雷迪斯 : how to create multiple redis queue/message broker

Redis是内存数据库和消息代理。比如我们可以在redis中创建多个数据库,所以,像聪明人一样,如何在redis中创建多个(消息代理/消息队列)? 最佳答案 您可以通过拥有多个列表来创建多个队列:Pattern:ReliablequeueRedisisoftenusedasamessagingservertoimplementprocessingofbackgroundjobsorotherkindsofmessagingtasks.Asimpleformofqueueisoftenobtainedpushingvaluesinto

asp.net-mvc - 雷迪斯 : New Keys not persisted in concurrent requests

我们在我们的应用程序中集成了Redis缓存,在正常情况下工作正常。最近,我们在我们的应用程序中发现了一个非常奇怪的问题,即在并发ajax请求的情况下,新添加的键会自动删除,并且修改后的键具有旧值。场景如下:Ajax请求1:-从数据库读取数据,大约需要5-6秒返回-在页面加载时触发(document.ready事件)Ajax请求2:-触发按钮点击-在session中设置值-在Ajax请求1完成之前完成Ajax请求3:-简单地读取session值-找到旧值,应该已经收到Ajax请求2设置的值所以这里的顺序是这样的:1)AjaxReq1触发并开始处理,2)AjaxReq2triggered,

python - 运行 20 个使用 Redis 作为 Queue 的 python worker 是否很常见?

这个程序监听Redis队列。如果Redis中有数据,worker就开始工作。所有这些作业都必须同时运行,这就是每个工作人员监听一个特定Redis队列的原因。我的问题是:运行20多个worker来听Redis是否很常见?python/usr/src/worker1.pypython/usr/src/worker2.pypython/usr/src/worker3.pypython/usr/src/worker4.pypython/usr/src/worker5.py........python/usr/src/worker6.py 最佳答案

django - django 应用程序中 redis-queue 队列的命名空间

我有一个django应用程序,它使用redis-queue在后台管理长时间运行的任务。我已设置并运行它(如果采用愚蠢的配置),但我不清楚存储队列的适当命名空间是什么。我按照文档中的建议设置了rqworker:#rqsetup.pyimportosimportredisfromrqimportWorker,Queue,Connectionlisten=['high','default','low']redis_url=os.getenv('REDISTOGO_URL','redis://localhost:6379')conn=redis.from_url(redis_url)if__n

python - 生产中的 Redis-Queue (RQ) 任务队列

我最近开始需要在我的Django程序中使用任务队列,我担心它在未来会有多健壮,或者在生产部署中需要克服什么问题。我正在使用适用于Python的Redis-Queue或RQ库,它们自称比Celery(我还没有完全学会)更容易学习和使用。有人对此有任何意见吗?你认为RQ与Redis结合在生产中是否可行,或者你会使用其他东西吗?大型应用程序使用什么进行任务排队? 最佳答案 据我所知,Celery在生产环境中,对于Python/Django来说,最成熟的基于分布式消息传递的同步任务队列/作业队列的实现,以Redis作为代理工作得很好。在生产

django - 将请求从一个 uwsgi 分派(dispatch)到另一个运行 Django Channels 的 uwsgi 实例

我目前正在使用Djangochannel进行websocket通信。我阅读了这篇文章,它指出我应该将项目拆分为两个uwsgi实例。它指出“Web服务器负责将正常请求分派(dispatch)到一个uWSGI实例,将WebSocket请求分派(dispatch)到另一个”现在我有两个uwsgi实例在运行。这就是我运行两者的方式。这个uwsgi处理正常的django站点请求uwsgi--virtualenv/home/ec2-user/MyProjVenv--socket/home/ec2-user/MyProjVenv/MyProjWeb/site1.socket--chmod-socke

redis - 在实现 ShouldQueue 或使用 queue() 方法时发送电子邮件会导致 Illuminate\Contracts\Queue\Factory,对于 Lumen 5.8 为 null

我是Lumen的新手,目前正在学习如何使用Lumen5.8。最近,我正在开发的应用程序需要在出于各种目的发送电子邮件时实现ShouldQueue或queue()方法。所以我跟着instructionsontheofficialpage在Lumen5.8上设置Mail,我还看到Illuminate\Contracts\Mail\MailQueue::class别名正在app.php上设置。不幸的是,除了在实现队列方法和/或ShouldQueue时发送之外,无需排队即可发送电子邮件。它们是关于如何在Lumen5.8上进行排队邮件的另一说明吗?以下是尝试将邮件插入队列时产生的错误。Argum

laravel - QUEUE_CONNECTION 'database' 工作但 'redis' 抛出 'Array to String conversion'

我只是想运行一个Event&Listener循环并将模型传递给它event(newLabelsCreated($model,'string'));这与QUEUE_CONNECTION=database完美配合,但与QUEUE_CONNECTION=redis配合使用时,它会抛出错误:#message:"Arraytostringconversion"#code:0#file:"/home/vagrant/Code/Upworks/myproj/vendor/laravel/framework/src/Illuminate/Queue/RedisQueue.php"#line:302#s