草庐IT

performance - Golang Http Get 请求很慢

coder 2023-06-30 原文

我在 Golang 中遇到一个简单的 HTTP Get 请求很奇怪的问题。

Golang 中的每个请求到 https://www.alltron.ch/json/searchSuggestion?searchTerm=notebook 大约需要 6-8 秒 (!)

如果在 Chrome、Postman 或 Powershell 中触发相同的请求，它需要不到一秒钟。

有人知道为什么会这样吗？

我的代码:

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
)

func main() {
    client := &http.Client{}

    req, _ := http.NewRequest("GET", "https://www.alltron.ch/json/searchSuggestion?searchTerm=notebook", nil)

    response, err := client.Do(req)
    if err != nil && response == nil {
        log.Fatalf("Error on request. %v", err)
    }
    defer response.Body.Close()

    body, err := ioutil.ReadAll(response.Body)
    if err != nil {
        log.Fatalf("Couldn't get response body. %v", err)
    }

    fmt.Print(string(body))
}

最佳答案

您尝试访问的站点位于 Akamai CDN 后面:

$ dig www.alltron.ch 
...
www.alltron.ch.         152     IN      CNAME   competec.botmanager.edgekey.net.
competec.botmanager.edgekey.net. 7052 IN CNAME  e9179.f.akamaiedge.net.
e9179.f.akamaiedge.net. 162     IN      A       2.20.176.40

Akamai 为其客户提供非浏览器的 Web 客户端检测，以便客户可以远离机器人或减慢机器人的速度。

从Strange CURL issue with a particular website SSL certificate可以看出和 Scraping attempts getting 403 error这种检测主要关心是否有一个Accept-Language header，有一个Connection header 的值为Keep-Alive 并且有一个User-Agent 匹配 Mozilla/...。

这意味着以下代码更改会导致立即响应:

req, _ := http.NewRequest("GET", "https://www.alltron.ch/json/searchSuggestion?searchTerm=notebook", nil)
req.Header.Set("Connection","Keep-Alive")
req.Header.Set("Accept-Language","en-US")
req.Header.Set("User-Agent","Mozilla/5.0")

不过，该网站显然不喜欢机器人，您应该坚持这些愿望，不要对网站施加太大压力(比如进行大量信息抓取)。而且，Akamai 完成的机器人检测可能会在不通知的情况下发生变化，即即使此代码现在解决了问题，但将来可能不再有效。如果许多客户端绕过机器人检测，则此类更改尤其如此。

关于performance - Golang Http Get 请求很慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54363393/

performanceGolang34codesectionhttpgogetrequest

有关performance - Golang Http Get 请求很慢的更多相关文章

  1. ruby-on-rails - Rails HTML 请求渲染 JSON - 2

    在我的Controller中，我通过以下方式在我的index方法中支持HTML和JSON:respond_todo|format|format.htmlformat.json{renderjson:@user}end在浏览器中拉起它时，它会自然地以HTML呈现。但是，当我对/user资源进行内容类型为application/json的curl调用时(因为它是索引方法)，我仍然将HTML作为响应。如何获取JSON作为响应？我还需要说明什么？ 最佳答案 您应该将.json附加到请求的url，提供的格式在routes.rb的路径中定义。这

  2. jquery - 我的 jquery AJAX POST 请求无需发送 Authenticity Token (Rails) - 2

    rails中是否有任何规定允许站点的所有AJAXPOST请求在没有authenticity_token的情况下通过？我有一个调用Controller方法的JqueryPOSTajax调用，但我没有在其中放置任何真实性代码，但调用成功。我的ApplicationController确实有'request_forgery_protection'并且我已经改变了config.action_controller.consider_all_requests_local在我的environments/development.rb中为false我还搜索了我的代码以确保我没有重载ajaxSend来发送

  3. ruby - HTTP 请求中的用户代理，Ruby - 2

    我是Ruby的新手。我试过查看在线文档，但没有找到任何有效的方法。我想在以下HTTP请求botget_response()和get()中包含一个用户代理。有人可以指出我正确的方向吗？#PreliminarycheckthatProggitisupcheck=Net::HTTP.get_response(URI.parse(proggit_url))ifcheck.code!="200"puts"ErrorcontactingProggit"returnend#Attempttogetthejsonresponse=Net::HTTP.get(URI.parse(proggit_url)

  4. ruby-on-rails - Resque - 类的未定义方法 'perform' - 2

    我目前对后台队列不太满意。我正在尝试让Resque工作。我已经安装了redis和Resquegem。Redis正在运行。一个worker正在运行(rakeresque:workQUEUE=simple)。使用Web界面，我可以看到工作人员正在运行并等待工作。当我运行“rakeget_updates”时，作业已排队但失败了。我已经用defself.perform和defperform试过了。发条.raketask:get_updates=>:environmentdoResque.enqueue(GetUpdates)end类文件(app/workers/get_updates.rb)c

  5. ruby-on-rails - 获取并发布相同匹配项的请求 - 2

    在我的路线文件中我有:match'graphs/(:id(/:action))'=>'graphs#(:action)'如果是GET请求(工作)或POST请求(不工作)，我想匹配它我知道我可以使用以下方法在资源中声明POST请求:post'/'=>:show,:on=>:member但是我怎样才能为比赛做到这一点呢？谢谢。 最佳答案 如果你同时想要POST和GETmatch'graphs/(:id(/:action))'=>'graphs#(:action)',:via=>[:get,:post]编辑默认值可以设置如下match'g

  6. ruby-on-rails - 如何在 ActionController::TestCase 请求中设置内容类型 - 2

    我试图像这样在我的测试用例中执行获取:request.env['CONTENT_TYPE']='application/json'get:index,:application_name=>"Heka"虽然，它失败了:ActionView::MissingTemplate:Missingtemplatealarm_events/indexwith{:handlers=>[:builder,:haml,:erb,:rjs,:rhtml,:rxml],:locale=>[:en,:en],:formats=>[:html]尽管在我的Controller中我有:respond_to:html,

  7. ruby - 如何测试 (rspec) 花费太长时间的 http 请求？ - 2

    如果使用rspec请求花费的时间太长，我该如何测试行为？我正在考虑使用线程来模拟这个:describe"Test"doit"shouldtimeoutiftherequesttakestoolong"dolambda{thread1=Thread.new{#net::httprequesttogoogle.com}thread2=Thread.new{sleep(xxseconds)}thread1.jointhread2.join}.shouldraise_errorendend我想确保在第一次发出请求后，另一个线程“启动”，在这种情况下只是休眠xx秒。然后我应该期望请求超时，因为执

  8. ruby - Sinatra 路由中定义的全局变量是否在请求之间共享？ - 2

    假设我有:get'/'do$random=Random.rand()response.body=$randomend如果我每秒有数千个请求到达/，$random是否会被共享并“泄漏”到上下文之外，或者它会像getblock的“本地”变量一样？我想如果它是在get'/'do的上下文之外定义的，它确实会被共享，但我想知道在ruby​​中是否有我不知道的$机制。 最佳答案 ThispartoftheSinatraREADMEaboutscopeisalwayshelpfultoread但是，如果您只需要为请求保留变量，那么我认为我建议使用

  9. ruby - 无法安装 ruby​​ 1.9.3 获取请求的 URL 不存在 - 2

    运行以下命令时:rvminstall1.9.3我得到以下输出:Error:therequestedURLdoesnotexist:ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.3-.tar.bz2我已将rvm更新到最新版本并输入rvmreload有什么想法吗？ 最佳答案 URL应该是这样的:ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.3-p194.tar.bz2尝试更新您的rvmrvmgethead然后安装1.9.3rvminstall1.9.3

  10. ruby-on-rails - 如何通过 HTTParty 通过 PUT 请求发送空数组？ - 2

    我有一个具有“名称”属性和“标签”属性的照片类。我的目标是在Rails中实现一个更新功能，用输入的内容替换照片的标签。例如，如果我尝试PUT一个将“标签”设置为[]的JSON对象，我希望从照片中清除任何标签。但是，当我通过HTTParty提交一个空数组作为主体参数之一时，我相信HTTParty正在将[]翻译成nil。因此，我的Rails后端的photos#update端点没有接收到任何参数“tags”。我正在寻找一种方法让HTTParty不将[]转换为nil，因为我失去了从照片中删除标签的能力。 最佳答案 这是Rails4中的一个错

随机推荐