草庐IT

php - 如何将 AWS SQS/SNS 用作通过 PHP 处理繁重任务的推送通知队列？

coder 2023-12-30 原文

我有一个运行在 rackspace 上的服务器，它托管一个 PHP 网络应用程序。

PHP 网络应用程序将接受表单提交，然后需要根据表单字段条目执行任务。

该任务(我们称之为生成元数据任务)需要相当多的处理时间。我想知道如何允许表单提交直接保存到数据库，并在后台运行生成元数据任务时立即向用户显示成功页面。

我已经使用 composer 安装了 "aws/aws-sdk-php": "~3.11" 到同一个网络应用程序中。

我的计划最初是这样的:

处理表单提交的代码

$result = $model->save($_POST);
// this code will send the information to either SQS or SNS
$awsClient->sendsMessage($_POST);
if ($result) {
  $this->redirect('success.html');
}

我已经阅读了 fanout architecture由 AWS 声明。

我对扇出架构示例的问题(据我所知)是这样的:

  1. 将消息发送到 SQS 或 SNS 的服务器也将是处理生成元数据任务的同一台服务器。事实上，它是同一个网络应用程序。
  2. SQS 完成队列部分(因为我想在 FIFO 中执行任务，而任务确实需要很长时间才能完成)。但是，它需要我的网络应用程序连续轮询 SQS。我想要一个推送通知(从 AWS 到我的 Web 应用程序)，而不是我的 Web 应用程序不断轮询 AWS 以检查要执行的任务。

我找到了建议的可能解决方案 here

建议的解决方案是:

  1. 将消息发送到 SNS 主题。

  2. SNS 主题将向 SQS 队列和我的 Web 应用程序发送消息。

  3. 我的 web 应用程序在被触发后，将轮询同一个 SQS 队列，该队列现在已将消息连续排队，直到队列为空

我从中看到的缺点是我的网络应用程序会在队列本身收到消息之前轮询队列。

使用 AWS 服务实现推送队列的最佳方式是什么？

最佳答案

my web app will poll the queue before the queue itself has the message

那你还没有尝试过，对吧？ :) 恐怕你想多了。 SQS 具有长轮询，这会导致轮询请求在 SQS 端暂停，直到至少有一条消息可用，此时将返回该消息(最多为您请求的最大数量)。您可以将长轮询等待时间设置为 1 到 20 秒。如果在此时间范围内没有可用消息，则返回不带消息的响应。

如果您轮询队列以响应来自 SNS 的通知，如果您使用长轮询，您将在那里找到消息。消息有可能延迟，但极不太可能。

但是，另一个问题是您断言您不希望该应用程序不断轮询 SQS。我经常遇到这种反对意见，而且经常放错地方。使用 SQS 长轮询，“不断”轮询一个空队列意味着每 20 秒一个请求。那是 3 个请求/分钟，180 个请求/小时，4320 个请求/天，129600 个请求/月……事实证明，这少于每月允许的 100 万个免费请求。

服务器对通知使用react而不是在后台轮询适当数量的工作人员的队列的问题在于，您可能很容易被大约同时到达的大量作业淹没。如果你得到 10 个并发请求，你能处理吗？ 100？ 1000？通常，对于像这样的异步作业，请求作业的成本(就资源而言)比执行作业的成本低(例如，上传图像所需的 CPU 应比调整图像大小所需的少得多)。除非你协调你的 react ，否则你可能会压垮你的系统。

在不适用的情况下，不要陷入“轮询不好，推送好”的概念陷阱。绝大多数时候，这种观点是绝对正确的……轮询几乎总是错误的解决方案……但是对于 SQS 长轮询，您真正拥有的是一种推送机制，以使其与 HTTP 兼容的方式包装，以及投票的许多固有的邪恶......消失了。如果您正在进行长轮询，队列为空，并且有消息到达，您的长轮询几乎会立即返回该消息。它不会等待超时发生。毕竟，监视队列的后台进程可能是一个不错的方法。

关于php - 如何将 AWS SQS/SNS 用作通过 PHP 处理繁重任务的推送通知队列？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34304872/

繁重用作section的SQSphpamazon-web-servicesamazon-sqsamazon-sns

有关php - 如何将 AWS SQS/SNS 用作通过 PHP 处理繁重任务的推送通知队列？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  4. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  5. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  6. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  7. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  8. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  9. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  10. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

随机推荐