草庐IT

json - 如何读取请求 JSON 正文以便在响应请求后使用它？

coder 2024-07-06 原文

我正在编写一个 HTTP 服务器来处理 Cisco Meraki 扫描 API。它是一个推送 API，Cisco 在其中使用 POST 请求和 JSON 正文定期调用您的端点。 API 必须能够在不到 500 毫秒的时间内响应此 POST 请求。否则，思科将停止向您发送数据，并且您无法恢复该信息。

所以，我一直在寻找尽可能快地处理这些请求的方法。

我做的第一件事是使用队列解耦 JSON 正文的处理。我从请求中取出 Body，将其放入队列中，然后进行响应。然后，几个工作人员将处理主体并将其异步存储在 S3 上。我还尝试使服务器尽可能简单。

大多数请求会在 500 毫秒内完成，但有些则不会。看看我现在的位置，唯一想到的改进这些时间的方法就是更快地处理请求的正文。

整个服务器可在此链接上获得:meraki_endpoint.go .这就是我目前处理请求正文的方式:

func handleData(w http.ResponseWriter, r *http.Request, jobs chan job) {
  var devicesSeen DevicesSeen
  // I am using "github.com/json-iterator/go" instead of "encoding/json"
  err := json.NewDecoder(r.Body).Decode(&devicesSeen)
  if err != nil {
    http.Error(w, "Bad request - Can't Decode!", 400)
    panic(err)
  }
  // Create Job and push the work into the Job Channel
  go func() {
    jobs <- job{devicesSeen}
  }()
  // Render success
  w.WriteHeader(http.StatusAccepted)
}

目前我正在解码从正文中读取的 JSON，而不是使用 ioutil.ReadAll(r.Body) 读取它并将其存储为字节列表。在尝试了两种方法后，我找不到显着的速度提升。

如何提高服务器的性能？或者，我如何才能更快地读取请求的主体，以便稍后在队列中处理它？<​​>

编辑#1

我将我的堆栈移动到另一个 AWS 区域，更靠近数据源，并且往返时间下降到之前的五分之一。

最佳答案

看起来您无法更快地读取正文，特别是如果您已经尝试只执行 ioutil.ReadAll(r.Body) 而不是对其进行解码。

因为从您观察到的大多数请求确实很快，您的问题可能不是 handleData 函数。

这里有一些尝试:

  • 尝试不同的“max_workers”设置

如果待处理请求的数量太大，即使 goroutines 很便宜，它们也会占用一些内存，因此您的服务器可能无论如何都会变慢，特别是如果垃圾收集在那里发挥作用，这会将我们带到下一个项目符号。

  • 尝试分析 GC，或者尝试不同的设置

这里有运行时文档，包括您可以尝试调整的 GOGC 变量，以及一些您可以尝试用来分析 GC 暂停的标志(请参阅那里的 gctrace 标志示例)

https://golang.org/pkg/runtime/

这些博客也可能有所帮助，他们详细介绍了他们在高处理量下看到的 GC 问题以及他们如何解决这些问题以提高 GC 性能:

https://blog.cloudflare.com/go-dont-collect-my-garbage/

https://blog.twitch.tv/go-memory-ballast-how-i-learnt-to-stop-worrying-and-love-the-heap-26c2462549a2

  • 横向扩展

您没有描述您的整个设置，但您可能有一组服务器负载平衡？如果容量很大，一种可能是您拥有的服务器数量无法处理负载，在这种情况下，您可以尝试添加更多服务器。

关于json - 如何读取请求 JSON 正文以便在响应请求后使用它？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56980501/

jsoncodesectionhttpshttpsslgo

有关json - 如何读取请求 JSON 正文以便在响应请求后使用它？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  4. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  5. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  6. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  7. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  9. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  10. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

随机推荐