草庐IT

max_workers

全部标签

ruby-on-rails - 为什么我能在 Heroku 看到这么多 worker ?我如何限制其他员工的访问权限?

当我在Heroku上运行的Rails应用程序上访问resque-web时,我可以看到40多个工作人员:我只有1个resqueworker连接到我的Heroku帐户。这个工作人员处理我所有的队列:resque:envTERM_CHILD=1COUNT=1QUEUE=*bundleexecrakeresque:workers有什么方法可以限制其他人的工作人员干扰我的队列吗?我正在使用Redislab来自Heroku的adon。 最佳答案 由于您的RedisCloud实例受密码保护,因此这些人不太可能是其他人的worker。我敢猜测他们只

amazon-web-services - AWS 上依赖 Windows EC2 后台 worker 的正确架构

基本上我们将缓存数据保存在Redis上,我们希望每隔X秒将其转储到MongoDB中。我们在Redis上存储了一个排序集,将每个用户的最后一次事件保存为分数,我们希望在一段时间不活动后定期转储用户的最终状态,我们希望确保:我们不会让我们的API服务器不堪重负(这就是它必须在工作实例上运行的原因。数据转储操作非常关键-我们要求这些工作实例具有可扩展性和对故障的高度弹性(并且应该优雅地处理故障)。我们必须确保,如果我们有X台机器,数据将分布在各个实例中,并且我们从Redis中提取的每一项都将恰好处理一次。我想知道部署定期处理数据的EC2Windows实例的最佳架构方法是什么。我曾考虑使用El

redis - Resque - 在 worker 完成工作后得到回应

我正在使用php-resque来了解具体情况,但我想我正在寻找一个概念性的答案,因此php/ruby差异应该不是问题。假设我向Resque添加了一个作业,要求工作进程从MySQL数据库中检索一些数据。发出请求的服务器无法直接访问数据库,因此它使用Resque来发出此请求。如何将数据库响应传递回调用它的脚本?根据我的阅读,工作人员似乎必须将该数据存储在Redis中,然后我的脚本只需要从那里访问它。我想在我将工作排入队列后,我的脚本只是等待工作人员完成,根据它的id跟踪它。这个逻辑合理吗? 最佳答案 立即想到的解决方案是设置web-ho

performance - Redis 上的 MAX() SQL 等价物

我是Redis的新手,现在我遇到了改进我的统计应用程序的问题。当前生成统计信息的SQL在这里:SELECTMIN(created_at),MAX(created_at)FROMtableORDERBYidDESC限制10000它将从created_at字段返回MIN和MAX值。我已经阅读了有关Redis的RANGE和SCORING,似乎它们可以用来解决这个问题。但我仍然对最近10000条记录的SCORING感到困惑。它们可以用来解决这个问题,还是有其他方法可以使用Redis解决这个问题?问候 最佳答案 您的目标似乎有些不清楚-您是否

ruby-on-rails - 在 heroku 中使用 rediscloud url 时不会触发 sidekiq worker

我是RubyonRails的新手,我面临一个问题,即在本地使用redis(redis://localhost:6379)的sidekiq工作正常(被触发)但不能在heroku中使用rediscloud。可能是什么问题?我的procfile包含:web:bundleexecpuma-Cconfig/puma.rbworker:bundleexecsidekiq-qcritical-qapplications-qdefault 最佳答案 wiki说明了如何在Heroku上设置您的Redis提供程序:herokuconfig:setRED

python - 将 celery worker 作为守护进程运行时不要创建 pidfile 和 logfile

在运行celery时,使用以下命令创建两个我不想要的文件w1.log和w1.pid。celerymultistartw1-AdestiPak.celery-linfo输出celerymultiv3.1.20(Cipater)>Startingnodes...>w1@foo-bar:OK显示workercelerymultishoww1输出/Users/foo/bar/bin/python-mceleryworker--detach-nw1@foo-bar--pidfile=w1.pid--logfile=w1.log--executable=/Users/foo/bar/bin/pyt

redis - 启动 celery worker 服务器时无法诊断 MISCONF redis 问题

我使用带有redis的celeryworker服务器作为代理url(用于接收任务)以及结果后端。BROKER_URL='redis://localhost:6379/2'CELERY_RESULT_BACKEND='redis://localhost:6379/2'app=Celery('myceleryapp',broker=BROKER_URL,backend=CELERY_RESULT_BACKEND)我使用celery-Amyceleryappworker-linfo-c8启动celeryworker服务器工作进程开始从redis队列处理我的任务,直到在某个时刻,我收到臭名昭著

python - 运行 20 个使用 Redis 作为 Queue 的 python worker 是否很常见?

这个程序监听Redis队列。如果Redis中有数据,worker就开始工作。所有这些作业都必须同时运行,这就是每个工作人员监听一个特定Redis队列的原因。我的问题是:运行20多个worker来听Redis是否很常见?python/usr/src/worker1.pypython/usr/src/worker2.pypython/usr/src/worker3.pypython/usr/src/worker4.pypython/usr/src/worker5.py........python/usr/src/worker6.py 最佳答案

python - 来自 worker 的 Heroku 数据库管理

想知道是否有人可以帮助我,或者至少指导我正确的方法。我目前有一个网络和一个正在运行的工作进程。我需要一个在测功机在线时全天候运行的任务,它的工作是访问数据库并通过根据当前时间戳检查每条记录的“过期”值来删除已过期的记录。我的worker.py文件:importosimportredisfromrqimportWorker,Queue,Connectionlisten=['high','default','low']redis_url=os.getenv('REDISTOGO_URL','redis://localhost:6379')conn=redis.from_url(redis_

ruby-on-rails - NameError:sidekiq worker 在生产中未初始化的常量,但在开发中有效

我正在使用sidekiq和redis设置后台任务。让它在开发中完全正常工作,但是在暂存站点上测试时我得到:NameError:uninitializedconstantInviteWorker::User/controllers/users_controller.rbclassUsersControllerparams[:user])[0]:@user=User.find_by_email(cookies[:h_email])user_id=@user.idcontent=params[:body]emails=params[:email].split(',')total_emails