草庐IT

beanstalkd

全部标签

php - 当 cron 作业不够用时,我该用什么? (php)

我正在尝试找出每天运行数千次相当繁重的PHP任务的最有效方法。它需要与Gmail建立IMAP连接,遍历电子邮件,将此信息保存到数据库并在本地保存图像。经常使用cron运行此任务并不是什么大不了的事,但我需要每分钟运行一次,我知道最终cron将开始相互运行并导致内存问题。当您需要每分钟多次高效地运行一项任务时,下一步是什么?我一直在阅读有关beanstalk和pheanstalk的文章,但我不确定这是否能满足我的需要。想法??? 最佳答案 我不是PHP专家,但是......是什么阻止您将脚本作为守护进程运行?我已经编写了很多执行此操作

java - redis pub sub 和/或列表来实现数据收集器

我正在开发一个需要按计划从第三方系统收集数据的模块,比如每5分钟一次。启动数据收集的触发器来自Multi-TenancyUI。因此,10个租户可以告诉该模块同时开始收集数据。我从使用一个简单的redis队列开始,所有来自UI的启动请求都被发送到队列中,该模块充当工作人员,获取作业并运行它们。问题是我们需要在1分钟内完成一个数据收集周期,如果有100个作业,如果我们连续进行,我们将花费一分钟多的时间。数据收集需要按计划进行。所以UI说每5分钟运行一次数据收集,直到我说停止!因此,我们添加了另一个可以开始减轻负载的工作器。我的问题是:如何在不在其中一个工作人员中保持状态(预定线程执行程序)

Laravel 5.4 事件触发,但未广播

我在网站上广播评论时遇到问题:-有时事件监听器处理了事件,但没有广播事件。\App\Http\Controllers\CommentController在方法“store”中:$comment=Comment::create($request->all());broadcast(newNewCommentAdded($comment));\App\Events\NewCommentAddednamespaceApp\Events;useApp\Models\Comment;useIlluminate\Broadcasting\Channel;useIlluminate\Queue\Se

amazon-web-services - 如何使用类似于 beanstalkd 的 cli 将 Redis 作为队列引擎进行监控?

背景我们使用了LaravelQueues在beanstalkd之上在两个ec2实例上(在负载均衡器后面)。随着系统的扩展,我们决定使用redis而不是beanstalkd,并将其托管在AWS弹性缓存实例(具有一个主节点和两个副本的集群)上。对于beanstalkd,我使用了beanstalkutilities监控队列的健康状况;例如,如果队列堵塞,我可以通过运行如下命令轻松看到:./beanstalk-queue-stats.rblocalhost:11300哪个会返回这样的东西2018-01-1011:08:38+0000default-cmd-delete=32678(+32678

amazon-web-services - 如何使用类似于 beanstalkd 的 cli 将 Redis 作为队列引擎进行监控?

背景我们使用了LaravelQueues在beanstalkd之上在两个ec2实例上(在负载均衡器后面)。随着系统的扩展,我们决定使用redis而不是beanstalkd,并将其托管在AWS弹性缓存实例(具有一个主节点和两个副本的集群)上。对于beanstalkd,我使用了beanstalkutilities监控队列的健康状况;例如,如果队列堵塞,我可以通过运行如下命令轻松看到:./beanstalk-queue-stats.rblocalhost:11300哪个会返回这样的东西2018-01-1011:08:38+0000default-cmd-delete=32678(+32678

golang - bufio 读取多行直到 (CRLF)\r\n 定界符

我正在尝试实现我自己的beanstalkd客户端作为学习围棋的一种方式。https://github.com/kr/beanstalkd/blob/master/doc/protocol.txt目前,我正在使用bufio读取由\n分隔的一行数据.res,err:=this.reader.ReadLine('\n')当我发送单个命令并读取单行响应时,这很好:INSERTED%d\r\n但是当我尝试保留工作时我发现困难,因为工作主体可能是多行,因此我不能使用\n分隔符。有没有办法读入缓冲区直到CRLF?例如当我发送reserve命令。我的预期响应如下:RESERVED\r\n\r\n但数据

golang - bufio 读取多行直到 (CRLF)\r\n 定界符

我正在尝试实现我自己的beanstalkd客户端作为学习围棋的一种方式。https://github.com/kr/beanstalkd/blob/master/doc/protocol.txt目前,我正在使用bufio读取由\n分隔的一行数据.res,err:=this.reader.ReadLine('\n')当我发送单个命令并读取单行响应时,这很好:INSERTED%d\r\n但是当我尝试保留工作时我发现困难,因为工作主体可能是多行,因此我不能使用\n分隔符。有没有办法读入缓冲区直到CRLF?例如当我发送reserve命令。我的预期响应如下:RESERVED\r\n\r\n但数据

node.js - 是否有令人信服的理由使用基于 AMQP 的服务器而不是 beanstalkd 或 redis?

我正在为一个项目写一篇文章,该项目负责处理面向数据服务器的主要应用程序之外的任务,该数据服务器是使用Node.js用javascript编写的。它需要处理future安排的任务,并可能处理“现在”的任务。“现在”只是意味着下次有工作人员可用时,它将执行该任务,因此该位可能无关紧要。工作人员都将与外部资源交谈,一个示例工作是发送电子邮件。我们是一家小商店,我们没有大量资源,所以我不想做的一件事就是在这个过程中开始混合语言,我已经看到Node可以很容易地为我们做到这一点,所以这就是我们将要采用的方法,除非我在开​​始编码之前看到令人信服的理由不这样做。说了这么多,我不知道是否有令人信服的理

node.js - 是否有令人信服的理由使用基于 AMQP 的服务器而不是 beanstalkd 或 redis?

我正在为一个项目写一篇文章,该项目负责处理面向数据服务器的主要应用程序之外的任务,该数据服务器是使用Node.js用javascript编写的。它需要处理future安排的任务,并可能处理“现在”的任务。“现在”只是意味着下次有工作人员可用时,它将执行该任务,因此该位可能无关紧要。工作人员都将与外部资源交谈,一个示例工作是发送电子邮件。我们是一家小商店,我们没有大量资源,所以我不想做的一件事就是在这个过程中开始混合语言,我已经看到Node可以很容易地为我们做到这一点,所以这就是我们将要采用的方法,除非我在开​​始编码之前看到令人信服的理由不这样做。说了这么多,我不知道是否有令人信服的理

php - 为什么 Laravel 或 Beanstalkd 会跳槽?

我正在使用LaravelQueues和beanstalkd管理音频转换,由supervisord监控。当用户上传音频文件时,它会转到触发Queue::push('AudioProcess')的AudioController.php,它本身会触发exec('shsome_script.shsome_audio.mp3')处理音频并在完成后将应用程序音频模型状态设置为1。我做了一堆上传来测试,这里是记录1表示AudioProcess.phpworker已执行,0表示AudioProcess.phpworker尚未执行'已被执行。我猜它可能来自Laravel队列管理或beanstalkd,但