草庐IT

两例访问故障小结

菜菜光 2023-03-28 原文
 在做运维工作时，或多或少都会遇到访问出错或缓慢问题，这里以两个小的例子来简单说明下这类问题的troubleshooting的思路。


1.用户查询平台故障一例
查询平台结构
nginx:80----------ip1/ip2 java------jdbc---(haproxy)--ip3(3000)+ip4(3000)hiveserver2---hdfs

从后端应用开始查：
1）通过hive cli运行sql，检测hadoop运行job的状态，正常。
2）由于应用使用jdbc的方式连接hiveserver2，使用beeline测试hiveserver2的状态,正常。
连接方法:!connect jdbc:hive2:/xxxx:30000/cdnlog
3）查看应用状态，由于是java应用，因此第一时间使用jstat查看下gc信息。发现因为s0和old区100%导致应用在做频繁的full gc,定位到是存在内存泄露的问题，通过jmap打印相关堆栈信息来进一步分析。
jstat -gcutil 14266 1000 1000 S0 S1 E O P YGC YGCT FGC FGCT GCT 100.00 0.00 100.00 100.00 21.65 596 77.267 629 2817.783 2895.050 100.00 0.00 100.00 100.00 21.65 596 77.267 629 2817.783 2895.050 100.00 0.00 100.00 100.00 21.65 596 77.267 629 2817.783 2895.050
4）再来看nginx的访问日志，可以明显看到nginx首先proxy到ip1，当响应超时后再proxy到ip2，因此从日志中可以看到两个status和upstream response time.
截取的一段日志："8.999, 0.008" "ip1:8081, ip2:8081" "502, 200" "9.007"


存在的问题：
没有有效的java监控（包括性能监控和日志监控）

2.推荐域名访问故障问题
故障现象：
用户访问缓慢，一个url有时响应超过3s，并且会有一定的几率abort.
域名整个的访问流程：
client-----cdn-----内部cdn节点-----源站（F5--nginx---java----redis---db）
从用户端开始入手：
1）通过curl xxxx --trace-time --verbose来查看访问时间的变化情况，单一请求时间3s，渐变点在用户等待服务器响应上
2）用户与cdn服务器连通性没有问题（延迟5ms以内，无丢包），这点从client—cdn建立连接耗时也可以看出来（5ms）
3）源站nginx响应时间2ms，说明后端应用正常，源站到cdn节点延迟是50ms，无丢包,同时看到在cdn内部经过3多层代理，这就导致cdn内部任何一层有问题都会产生慢速响应
4）调整cdn策略为一层代理，问题得到缓解不过还是有一定比例的慢速响应
5）跳过cdn节点，直接指向源站来进行访问测试，发现有一定的几率abort
6）在client端通过tcpdump抓包，发现client---server连接建立正常，但是server端有一定的概率会返回RST给client，造成abort的产生
即用户到F5正常，由F5到后端nginx出现问题，最终定位到是由于F5配置出错导致proxy到了错误的server上。

存在问题：
1)RST不会在服务器上产生日志，是tcp层面的问题，还没到应用层，因此通过监控nginx的访问日志无法发现这种问题，需要对client端的性能做监控
2）F5的配置有些问题，对于后面机器的检测，只是使用了ping的方法，没有检测端口导致有一部分的请求会分发到有问题的机器（比较理想的请求使用url的应用层检测）

小结：
对于这类问题，可以通过两种方式来troubleshooting，从应用出发和从client端出发。
两种方法的思路都是一样的，首先要清楚的了解整个的访问链，然后对访问进行分解，对每一步都进行检测分析。
同时要注意服务器qos和用户端qos的结合。


小结访问sectionspanfont-family访问故障小结Nginx服务器

有关两例访问故障小结的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - 在混合/模块中覆盖模型的属性访问器 - 2

    我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah

  3. ruby - 续集在添加关联时访问many_to_many连接表 - 2

    我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作)，这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以

  4. ruby - 有没有办法从 ruby​​ case 语句中访问表达式？ - 2

    我想从then子句中访问c​​ase语句表达式，即food="cheese"casefoodwhen"dip"then"carrotsticks"when"cheese"then"#{expr}crackers"else"mayo"end在这种情况下，expr是食物的当前值(value)。在这种情况下，我知道，我可以简单地访问变量food，但是在某些情况下，该值可能无法再访问(array.shift等)。除了将expr移出到局部变量然后访问它之外，是否有直接访问caseexpr值的方法？罗亚附注我知道这个具体示例很简单，只是一个示例场景。 最佳答案

  5. ruby - 从外部访问类的实例变量 - 2

    我理解(我认为)Ruby中类变量和类的实例变量之间的区别。我想知道如何从该类外部访问该类的实例变量。从内部(即在类方法中而不是实例方法中)，它可以直接访问，但是从外部，有没有办法做MyClass.class.[@$#]variablename?我没有任何具体原因要这样做，只是学习Ruby并想知道是否可行。 最佳答案 classMyClass@my_class_instance_var="foo"class上述yield:>>foo我相信Arkku演示了如何从类外部访问类变量(@@)，而不是类实例变量(@)。我从这篇文章中提取了上述内

  6. ruby-on-rails - 使用 HTTP.get_response 检索 Facebook 访问 token 时出现 Rails EOF 错误 - 2

    我试图在我的网站上实现使用Facebook登录功能，但在尝试从Facebook取回访问token时遇到障碍。这是我的代码:ifparams[:error_reason]=="user_denied"thenflash[:error]="TologinwithFacebook,youmustclick'Allow'toletthesiteaccessyourinformation"redirect_to:loginelsifparams[:code]thentoken_uri=URI.parse("https://graph.facebook.com/oauth/access_token

  7. ruby - 使用 Class.new 时访问外部范围 - 2

    是否有可能以某种方式访问​​Class.new范围内的a？a=5Class.new{defb;aend}.new.b#NameError:undefinedlocalvariableormethod`a'for#:0x007fa8b15e9af0>#:in`b' 最佳答案 即使@MarekLipka的回答是正确的——改变变量范围总是有风险的。这是可行的，因为每个block都带有创建它的上下文，因此您的局部变量a突然变得不那么局部了——它变成了一个“隐藏的”全局变量:a=5object=Class.new{define_method(

  8. ruby - 使用访问器方法即时创建对象 - 2

    使用散列定义的访问器方法动态创建对象的最简单方法是什么？例如，如果我有一个散列:{foo:"Foo",bar:"Bar"}我想要一个具有访问器方法foo、foo=、bar和bar=的对象，其初始值分别为"Foo"和"Bar"。我可以想到这样做:moduleObjectWithAccessordefself.newh;Struct.new(*h.keys).new(*h.values)endendo=ObjectWithAccessor.new(foo:"Foo",bar:"Bar")o.foo#=>"Foo"但是，我不需要它们的多个实例具有相同的特定键集，而是希望每次都使用可能不同的键

  9. ruby - 404 未找到，但可以从网络浏览器正常访问 - 2

    我在这方面尝试了很多URL，在我遇到这个特定的之前，它们似乎都很好:require'rubygems'require'nokogiri'require'open-uri'doc=Nokogiri::HTML(open("http://www.moxyst.com/fashion/men-clothing/underwear.html"))putsdoc这是结果:/Users/macbookair/.rvm/rubies/ruby-2.0.0-p481/lib/ruby/2.0.0/open-uri.rb:353:in`open_http':404NotFound(OpenURI::HT

  10. ruby-on-rails - "undefined method ` stub_request '"访问 RSpec 支持文件中的方法时 - 2

    我的Ruby-on-Rails项目中有以下文件结构，用于规范:/spec/msd/serviceservice_spec.rb/support/my_modulerequests_stubs.rb我的request_stubs.rb有:moduleMyModule::RequestsStubsmodule_functiondeflist_clientsurl="dummysite.com/clients"stub_request(:get,url).to_return(status:200,body:"clientsbody")endend在我的service_spec.rb我有:re

随机推荐