我正在为我的公司创建工具来对我们的系统进行负载测试。我目前有用 Python 编写的工具，但我正在探索使用 Go 的选项，希望提高效率和性能，因为我们需要同时生成数百万用户(每个盒子有数千个，有很多盒子)并且每一点都很重要。我的用户主要对我们的系统进行 http 调用，我需要一个非常轻量级和高效的 http 客户端。
对于我们的 Python 工具，以前的员工有一些功能手动处理和重用套接字并完全忽略 cookie。虽然我是 Go 的新手，但到目前为止我已经比较了多个 Go 网络实现，我对 CPU 和网络使用情况很满意，所以我认为我还不需要手动管理套接字，但是RAM 使用率比我们的 Python 解决方案高出数倍。我怀疑这是由于这些 Go 实现自动维护和管理 cookie，因为其他更高级别的 Python 库做了同样的事情。我正在寻找让我的 http 客户端禁用/阻止/忽略所有 cookie 的方法，以解决我的问题或排除 cookie 是我内存膨胀的罪魁祸首。
我使用了一个简单的 net/http Get() 调用，fasthttp创建一个客户端，每个主机重复使用不同数量的连接(1000+)，并创建一个带有和不带有自定义 Transport 的 net/http.Client。我已经使用 pprof 来对每个进行内存分析。在不覆盖 cookie 的情况下，我的 http.Client 流似乎内存膨胀最少，而 fasthttp 最多。我试图浏览他们所有的文档并搜索 SO 和网络，但找不到任何明确忽略或阻止 cookie 的内容。我发现最接近的是用于请求和响应的 fasthttp 的 DelAllCookies()，但调用它们对内存使用没有明显影响。我研究了 net/http/cookiejar 来为 net/http.Client 设置自定义 jar 和策略，但这看起来更像是一种存储和使用 cookie 数据的方式，我不想这样做，而且我看不到设置策略以完全忽略 cookie 的方法。
// fasthttp implementation
var httpClient *fasthttp.Client
func init() {
httpClient = &fasthttp.Client{
MaxConnsPerHost: 1000,
}
}
func fastHTTPClient(method string, uri string) (string, time.Duration) {
req := fasthttp.AcquireRequest()
req.Header.SetMethod(method)
req.SetRequestURI(uri)
resp := fasthttp.AcquireResponse()
startTime := time.Now()
err := httpClient.DoTimeout(req, resp, targetDuration)
elapsed := time.Since(startTime)
if err != nil {
log.Panicln(err)
body := string(resp.Body())
req.Header.DelAllCookies()
resp.Header.DelAllCookies()
fasthttp.ReleaseRequest(req)
fasthttp.ReleaseResponse(resp)
return body, elapsed
}
body := string(resp.Body())
req.Header.DelAllCookies()
resp.Header.DelAllCookies()
fasthttp.ReleaseRequest(req)
fasthttp.ReleaseResponse(resp)
return body, elapsed
}
// net/http implementation
var tr = &http.Transport{}
var client = &http.Client{Transport: tr}
func netGet(method string, uri string) (string, time.Duration) {
startTime := time.Now()
resp, err := client.Get(uri)
elapsed := time.Since(startTime)
if err != nil {
log.Panic(err)
body, err2 := ioutil.ReadAll(resp.Body)
resp.Body.Close()
if err2 != nil {
log.Panic(err)
}
return string(body), elapsed
}
body, err := ioutil.ReadAll(resp.Body)
resp.Body.Close()
if err != nil {
log.Panicln(err)
}
return string(body), elapsed
}
同样，这些功能正常工作，但是当我使用 boomer 同时运行数千个时在我们的 Python 套接字实现中，我最终使用了数 GB 的 RAM 而不是 1-1.5 GB。我怎样才能阻止/忽略 cookie 或以其他方式确保 cookie 不会占用我所有的内存？
最佳答案
Fasthttp 总是会将完整的响应加载到内存中。因此，如果您有大型响应主体并且想要限制内存使用，它可能不是您的最佳解决方案。
Fasthttp 还通过将缓冲区保留在内存中并重复使用它来用内存使用换取 CPU 使用，而不是花费 CPU 周期让垃圾收集器收集这些缓冲区。
使用多个 GB 的内存似乎很多。在这种情况下，您是在查看 RSS 还是虚拟内存？
关于performance - Go - 在用于负载测试的高性能 http 客户端中，如何阻止/忽略所有 cookie？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57579537/
我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0
是的，我知道最好使用webmock，但我想知道如何在RSpec中模拟此方法:defmethod_to_testurl=URI.parseurireq=Net::HTTP::Post.newurl.pathres=Net::HTTP.start(url.host,url.port)do|http|http.requestreq,foo:1endresend这是RSpec:let(:uri){'http://example.com'}specify'HTTPcall'dohttp=mock:httpNet::HTTP.stub!(:start).and_yieldhttphttp.shou
我目前正在使用以下方法获取页面的源代码:Net::HTTP.get(URI.parse(page.url))我还想获取HTTP状态，而无需发出第二个请求。有没有办法用另一种方法做到这一点？我一直在查看文档，但似乎找不到我要找的东西。 最佳答案 在我看来，除非您需要一些真正的低级访问或控制，否则最好使用Ruby的内置Open::URI模块:require'open-uri'io=open('http://www.example.org/')#=>#body=io.read[0,50]#=>"["200","OK"]io.base_ur
1.错误信息：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因：docker使用的镜像网址默认为国外，下载容易超时，需要修改成国内镜像地址（首先阿里
Rails中有没有一种方法可以提取与路由关联的HTTP动词？例如，给定这样的路线:将“users”匹配到:“users#show”，通过:[:get,:post]我能实现这样的目标吗？users_path.respond_to?(:get)(显然#respond_to不是正确的方法)我最接近的是通过执行以下操作，但它似乎并不令人满意。Rails.application.routes.routes.named_routes["users"].constraints[:request_method]#=>/^GET$/对于上下文，我有一个设置cookie然后执行redirect_to:ba
我在rubyonrails应用程序中有以下新方法:defnewifcookies[:owner].empty?cookies[:owner]=SecureRandom.hexend@movie=Movie.new@movie.owner=cookies[:owner]end基本上，每个新用户都应该获得一个代码来识别他们(尽管只是通过cookie)。因此，当用户创建电影时，创建的cookie将存储在owner字段中。所以有两个问题:使用.empty？方法，当我从浏览器中删除cookie时，返回一个undefinedmethodempty?'对于nil:NilClass`当我确实已经在
我正在使用Heroku(heroku.com)来部署我的Rails应用程序，并且正在构建一个iPhone客户端来与之交互。我的目的是将手机的唯一设备标识符作为HTTPheader传递给应用程序以进行身份验证。当我在本地测试时，我的header通过得很好，但在Heroku上它似乎去掉了我的自定义header。我用ruby脚本验证:url=URI.parse('http://#{myapp}.heroku.com/')#url=URI.parse('http://localhost:3000/')req=Net::HTTP::Post.new(url.path)#boguspara
我试图在我的网站上实现使用Facebook登录功能，但在尝试从Facebook取回访问token时遇到障碍。这是我的代码:ifparams[:error_reason]=="user_denied"thenflash[:error]="TologinwithFacebook,youmustclick'Allow'toletthesiteaccessyourinformation"redirect_to:loginelsifparams[:code]thentoken_uri=URI.parse("https://graph.facebook.com/oauth/access_token
我是Ruby的新手。我试过查看在线文档，但没有找到任何有效的方法。我想在以下HTTP请求botget_response()和get()中包含一个用户代理。有人可以指出我正确的方向吗？#PreliminarycheckthatProggitisupcheck=Net::HTTP.get_response(URI.parse(proggit_url))ifcheck.code!="200"puts"ErrorcontactingProggit"returnend#Attempttogetthejsonresponse=Net::HTTP.get(URI.parse(proggit_url)
我目前对后台队列不太满意。我正在尝试让Resque工作。我已经安装了redis和Resquegem。Redis正在运行。一个worker正在运行(rakeresque:workQUEUE=simple)。使用Web界面，我可以看到工作人员正在运行并等待工作。当我运行“rakeget_updates”时，作业已排队但失败了。我已经用defself.perform和defperform试过了。发条.raketask:get_updates=>:environmentdoResque.enqueue(GetUpdates)end类文件(app/workers/get_updates.rb)c