大家好!
我在如何对 Web 服务 (eBay) 执行成千上万个请求方面遇到了一些麻烦，我每天有 500 万次调用的限制，所以这方面没有问题。
但是，我正在尝试弄清楚如何每分钟到每 5 分钟处理 1,000 - 10,000 个请求。
基本上流程是: 1) 从数据库中获取项目列表(1,000 到 10,000 项) 2) 对每个项目进行 API POST 请求 3)接受返回数据，处理数据，更新数据库
显然，单个 PHP 实例在循环中运行它是不可能的。
我知道 PHP 不是多线程语言。
我尝试了 CURL 解决方案，基本上: 1)从数据库中获取项目列表 2) 初始化多 curl session 3)为每个项目添加一个 curl session 的请求 4) 执行多 curl session
因此您可以想象发生 1,000-10,000 个 GET 请求...
没关系，在大约一两分钟内发生了大约 100-200 个请求，但是，实际处理的 1,000 个项目中只有 100-200 个，我认为我正在达到某种 Apache 或 MySQL 限制？
但这确实会增加延迟，这几乎就像对我自己进行 DoS 攻击一样。
我想知道你会如何处理这个问题？如果您必须根据 Web 服务的返回数据发出 10,000 个 Web 服务请求和 10,000 个 MySQL 更新，该怎么办...而这需要至少在 5 分钟内完成。
我在 Zend Framework 中使用 PHP 和 MySQL。
谢谢!
最佳答案
我不得不做类似的事情，但使用 Facebook，每小时更新 300,000 多个配置文件。正如 grossvogel 所建议的那样，您需要使用许多进程来加快速度，因为脚本大部分时间都在等待响应。 如果您的 PHP 安装支持 fork ，您可以使用 fork 来执行此操作，或者您可以通过命令行执行另一个 PHP 脚本。
exec('nohup /path/to/script.php >> /tmp/logfile 2>&1 & echo $!'), $processId);
您可以在命令行上将参数(getopt)传递给 php 脚本，以告诉它要处理哪个“批处理”。您可以让主脚本执行 sleep /检查循环，通过检查进程 ID 来查看脚本是否仍在运行。我测试过以这种方式同时运行多达 100 个脚本，此时 CPU 负载可能会变得相当高。
将多个进程与 multi-curl 相结合，您应该可以轻松地完成所需的工作。
关于PHP:多线程 PHP/Web 服务？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1813165/
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru
在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo
我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？ 最佳答案 我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除
我正在尝试使用ruby编写一个双线程客户端，一个线程从套接字读取数据并将其打印出来，另一个线程读取本地数据并将其发送到远程服务器。我发现的问题是Ruby似乎无法捕获线程内的错误，这是一个示例:#!/usr/bin/rubyThread.new{loop{$stdout.puts"hi"abc.putsefsleep1}}loop{sleep1}显然，如果我在线程外键入abc.putsef，代码将永远不会运行，因为Ruby将报告“undefinedvariableabc”。但是，如果它在一个线程内，则没有错误报告。我的问题是，如何让Ruby捕获这样的错误？或者至少，报告线程中的错误？
我是ruby的新手，我认为重新构建一个我用C#编写的简单聊天程序是个好主意。我正在使用Ruby2.0.0MRI(Matz的Ruby实现)。问题是我想在服务器运行时为简单的服务器命令提供I/O。这是从示例中获取的服务器。我添加了使用gets()获取输入的命令方法。我希望此方法在后台作为线程运行，但该线程正在阻塞另一个线程。require'socket'#Getsocketsfromstdlibserver=TCPServer.open(2000)#Sockettolistenonport2000defcommandsx=1whilex==1exitProgram=gets.chomp
require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器，我做错了什么？ 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame