阻塞队列--LinkedBlockingQueue
全部标签 我一直在尝试使用sidekiq-limit_fetch来限制每个队列的工作人员数量gem,而Sidekiq似乎在日志中“看到”了强加的限制,但是当我观察工作人员时,这些限制被忽略了。这是日志中Sidekiq看到限制的部分:2013-04-02T05:47:19Z748TID-11ilcwDEBUG:{:queues=>["recommendvariations","recommendvariations","recommendvariations","recommendphenotypes","recommendphenotypes","recommendphenotypes","pr
我正在尝试以非阻塞方式从io中读取一行。不幸的是readlineblock。我想我可以用read_nonblock解决这个问题,并在其中存储部分结果的附加缓冲区,检查缓冲区中是否有多行等。但是对于像这样的简单任务来说似乎有点复杂.有更好的方法吗?注意:我正在使用事件多路分解(select)并且我对此很满意,我不想创建线程,使用EventMachine等... 最佳答案 我认为read_nonblock解决方案可能是可行的方法。简单但不是最高效的猴子补丁版本:classIOdefreadline_nonblockrlnb_buffer
我们有一个大型Rails应用程序,几天后,我们的ruby进程似乎陷入循环并占用100%的CPU,直到乘客服务器死机并引发502错误。您知道找出原因的最佳方法吗?我已经尝试过NewRelic,但它只是性能方面的东西,而且我们的错误太多了,无法猜测问题出在哪里。(我们每天有很多请求和很多UTF-8BSON错误,因为我们使用的是UTF-8url)使用:Rails3.2.6和Ruby1.9.2p290乘客3.0.13MongoDB2.0.1和Mongoid2.4.11NginxFreeBSD8.2 最佳答案 找出ruby卡住位置的简便方
我有一个场景,我需要极快地分发和处理作业。我将在队列中快速填充大约45个作业,我可以同时处理大约20个(5台机器,每台机器4个内核)。每项工作花费的时间长短不一,而且垃圾收集使事情变得复杂,因此我需要能够让消费者离线以进行垃圾收集。目前,我的一切都与pop一起工作(每个消费者每5毫秒弹出一次)。这似乎是不可取的,因为它转换为每秒600个pop请求到rabbitmq。如果有一个类似于订阅的pop命令,但只针对一条消息,我会很高兴。(进程会阻塞,等待来自rabbitMQ连接的输入,通过类似于Kernel.select的东西)我试图欺骗AMQPgem做这样的事情,但它不起作用:我似乎无法取消
如果说我想检索一个网页进行解析,但在I/O发生时不阻塞CPU。是否有与Python的Eventlet库等效的东西? 最佳答案 Ruby的最佳HTTP客户端库是Typhoeus,它可用于以非阻塞方式并行执行多个HTTP请求。有阻塞和非阻塞接口(interface):#blockingresponse=Typhoeus::Request.get("http://stackoverflow.com/")putsresponse.body#non-blockingrequest1=Typhoeus::Request.new("http://
是否可以将sidekiq作业从SidekiqWorker实例级别直接移动到死队列(即在执行时)classMyWorkerincludeSidekiq::Workersidekiq_optionsretry:9defperform(name)ifname=='StackOverflow'#---->skip_retry_queue_and_go_to_dead_queueelse#do_stuff!endendend 最佳答案 在执行作业中不是动态的。静态地,如果您设置sidekiq_optionsretry:0,如果作业引发错误,它
我想使用Delayed::Job(或者可能更适合我的问题的作业队列)将作业分派(dispatch)给多个后台守护进程。我有几个执行不同职责的后台守护进程。每个人都对Rails应用程序队列中的不同作业感兴趣。是否可以使用Delayed::Job,或者可能有更适合此任务的不同作业队列? 最佳答案 从那以后http://github.com/collectiveidea/delayed_job已达到v3.0并包括命名队列!非常适合简单的分组队列需求。 关于ruby-on-rails-使用Del
查看下面的作业,我假设该作业在low_priority队列上运行。classGuestsCleanupJob我同意这一点,但这只是队列的名称对吗?它实际上与优先级无关。例如,如果我创建了一个队列名为:my_queue的作业,它将被视为具有与:low_priority队列相同的优先级。从文档中我无法找到任何表明我可以对排队的作业进行优先排序的信息。我知道delayed_jobs有这个功能,但我在active_job中没有找到它。 最佳答案 优先级取决于实际的QueueAdapter以及此适配器的配置方式。如果您的适配器不支持优先级或未
我正在考虑使用Rails编写Web应用程序。用户发出的每个请求都取决于调用的外部API。这个外部API可能随机地非常慢(2-3秒),因此显然这会影响单个请求。在代码等待外部API返回的这段时间里,是否会阻塞进一步的用户请求?只是为了进一步澄清,因为似乎有些困惑,这是我期待的模型:Alice向我的网络应用程序发出请求。为此,调用API服务器A。API服务器A很慢,需要3秒才能完成。在Rails应用程序调用API服务器A的这段等待时间内,Bob发出了一个请求,该请求必须向API服务器B发出请求。Ruby(1.9.3)解释器(或Rails3.x框架中的某些东西)是否会阻止Bob的请求,要求他
我有一些更新触发器可以将作业推送到Sidekiq队列中。因此在某些情况下,可以有多个作业来处理同一个对象。有几个唯一性插件("Middleware"、UniqueJobs),它们的文档记录不多,但它们似乎更像是防止重复处理的节流器;我想要的是一个阻止重复创建相同作业的节流器。这样,对象将始终以其最新状态进行处理。有这方面的插件或技术吗?更新:我没有时间制作中间件,但我最终得到了一个相关的清理函数来确保队列是唯一的:https://gist.github.com/mahemoff/bf419c568c525f0af903 最佳答案 简