草庐IT

http - 在负载测试下,Node.js Http.request变慢了。难道我做错了什么?

coder 2023-05-30 原文

这是我的示例代码:

var http = require('http');

var options1 = {
          host: 'www.google.com',
          port: 80,
          path: '/',
          method: 'GET'
        };

http.createServer(function (req, res) {

        var start = new Date();
        var myCounter = req.query['myCounter'] || 0;

        var isSent = false;
        http.request(options1, function(response) {
            response.setEncoding('utf8');
            response.on('data', function (chunk) {
                var end = new Date();
                console.log(myCounter + ' BODY: ' + chunk  + " time: " + (end-start) + " Request start time: " + start.getTime());

                if (! isSent) {
                    isSent = true;
                    res.writeHead(200, {'Content-Type': 'application/xml'});
                    res.end(chunk);
                }
            });
        }).end();


}).listen(3013);

console.log('Server running at port 3013');

我发现的是,如果我连接到其他服务器(谷歌或任何其他服务器),响应速度将越来越慢,只有几秒钟。如果我连接到同一网络中的另一个node.js服务器,则不会发生这种情况。

我使用JMeter进行测试。每秒50个并发,具有1000个循环。

我不知道问题是什么...

=========================

进一步的调查:

我在Rackspace和EC2上运行相同的脚本进行测试。该脚本将使用http.request连接到:Google,Facebook,以及我的另一个脚本,该脚本仅输出由另一个EC2实例托管的数据(如hello world)。

我的测试工具是台式机上的jMeter。

pre.node.js测试:
jMeter-> Google结果:快速且一致。
jMeter-> Facebook结果:快速且一致。
jMeter->我的简单输出脚本结果:快速且一致。

然后,我制作了50个并发线程/秒,并进行了100次循环,分别测试了我的Rackspace nodejs和EC2 node.js,后者具有同样的性能问题
jMeter-> node.js-> Google结果:在200个请求集中,从50毫秒变为2000毫秒。
jMeter-> node.js-> Facebook结果:200次重新设置后,从200毫秒变为3000毫秒。
jMeter-> node.js->我的简单输出脚本结果:200次重新设置后,从100毫秒变为1000毫秒。
前10到20个请求很快,然后开始变慢。

然后,当我更改为10个并发线程时,情况开始发生变化。响应非常一致,没有减慢的速度。

与Node.js(http.request)可以处理的并发线程数有关。

------------ 更多 --------------

我今天做了更多测试,这里是:
我使用了http.Agent并增加了最大套接字数。但是,有趣的是,在一台测试服务器(EC2)上,它有很多改进,并且不再降低速度。但是,其他服务器(机架空间)仅改善了一点。它仍然显示速度变慢。我什至在请求 header 中设置了“Connection:close”,它仅改善了100ms。

如果http.request使用连接池,如何增加连接池?

在两台服务器上,如果我执行“ulimit -a”,则打开的文件数为1024。

------------- ** 更多和更多 ** -------------------

似乎即使我将maxSockets设置为更高的数字,它也只能在某个限制下工作。似乎存在内部或操作系统相关的套接字限制。但是要撞到它吗?

------------- **经过广泛测试后** ---------------

阅读大量文章后,我发现:



引用自:https://github.com/joyent/node/issues/877

1)如果我使用connection ='keep-alive'设置 header ,则性能良好,并且可以提高到maxSocket = 1024(这是我的Linux设置)。
var options1 = {
                  host: 'www.google.com',
                  port: 80,
                  path: '/',
                  method: 'GET',
    **headers: {
            'Connection':'keep-alive'
    }**
                };

如果将其设置为“Connection”:“close”,则响应时间将慢100倍。

有趣的事情发生在这里:

1)在EC2中,当我第一次使用Connection:keep-alive测试时,大约需要20到30毫秒。然后,如果我更改为Connection:Close或设置Agent:false,则响应时间将减慢到300毫秒。 WIHTOUT重新启动服务器,如果我再次更改为Connection:keep-alive,响应时间将进一步减慢到4000ms。我必须重新启动服务器,或者等待一段时间才能恢复20-30ms的照明速度响应。

2)如果我使用agent:false运行它,首先,响应时间将减慢到300ms。但是,它将再次变得更快,并恢复到“正常”状态。

我的猜测是,即使您设置了agent:false,连接池仍然有效。但是,如果您保持connection:keep-alive,那么肯定会很快。只是不要切换它。



2011年7月25日更新

我尝试通过https://github.com/mikeal/node/tree/http2的http.js&https.js修复程序尝试最新的node.js V0.4.9

性能更好,更稳定。

最佳答案

我解决了问题

require('http').globalAgent.maxSockets = 100000

或者
agent = new http.Agent()
agent.maxSockets = 1000000  # 1 million
http.request({agent:agent})

关于http - 在负载测试下,Node.js Http.request变慢了。难道我做错了什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6209042/

有关http - 在负载测试下,Node.js Http.request变慢了。难道我做错了什么?的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  3. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  4. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  5. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  6. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996?但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  7. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  8. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试? - 2

    我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  9. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  10. ruby - 如何模拟 Net::HTTP::Post? - 2

    是的,我知道最好使用webmock,但我想知道如何在RSpec中模拟此方法:defmethod_to_testurl=URI.parseurireq=Net::HTTP::Post.newurl.pathres=Net::HTTP.start(url.host,url.port)do|http|http.requestreq,foo:1endresend这是RSpec:let(:uri){'http://example.com'}specify'HTTPcall'dohttp=mock:httpNet::HTTP.stub!(:start).and_yieldhttphttp.shou

随机推荐