草庐IT

一次k8s docker下.net程序的异常行为dump诊断

dotnet-diagnostic 2023-03-28 原文

背景

昨天,一位朋友找到我寻求帮助。他的项目需要调用一个第三方项目的webAPI。这个webAPI本身可从header, query string中取相关信息,但同事发现他在调用时,无法按期望的那样从query string中传参数给到第三方webAPI (webAPI仿佛忽略了从query string过来的信息),朋友不知道是这个webAPI的问题,还是自己调用代码的问题了。。

由于这个webAPI service是他们公司内部的某team的项目,所以朋友虽然可以看到源码,但他并不能快速确定原因, 维护项目的人又不好找。通过webAPI service代码他自己找到了可疑的原因是webAPI中的这个方法有可能阻挡了他期望的webAPI行为: Instance.EnableFallback() (公司隐私,改了名), 但他无法确定这个方法在实际运行的时候的具体返回值。

听了朋友介绍,我能想到的一个方法是看一下他们公司的这个第三方的service进程的内部情况 (非生产环境,权限是允许的)

分析

通过kubectl exec -it [namespace:pod] /bin/bash,我们成功进入了service的pod里。虽然是非生产环境,我们也尽量别打扰人家干活  那么…就选择dump一下运行的dotnet进程喽

由于这次的任务是观察托管环境的某个内存位置的值,我选择了用dotnet-dump

 

然后dotnet-dump analyze core_123 开始分析。

我们想要的是 Instance.EnableFallback 的返回值,而我的朋友已经知道这个Instance的type,所以用dumpheap -type找一下这个instance在哪里:

 

 

 然后用!do一下instance具体内容:

1 > do 796f3840d080
2 Name:        XXX.Common.XXX.XXXInstance
3 MethodTable: 00007970d459d3a8
4 EEClass:     00007970d45a4fc0
5 Size:        80(0x50) bytes
6 File:        /app/XXX.dll
7 Fields:
8               MT    Field   Offset                 Type VT     Attr            Value Name
9 00007970d459d9e8  4000016       10 ...XXX]]  0 instance 0000796f3840d130 _evs

根据简化和隐藏敏感信息后的代码:

 

 知道了需要继续用!do 看这个0000796f3840d130:

 1 > do 0000796f3840d130
 2 Name:        System.Collections.Generic.Dictionary`2[[System.String, System.Private.CoreLib],[XXX.Common.XXX.XXXEnv, XXX]]
 3 MethodTable: 00007970d459d718
 4 EEClass:     00007970ce610c00
 5 Size:        72(0x48) bytes
 6 File:        /usr/share/dotnet/shared/Microsoft.NETCore.App/3.1.32/System.Private.CoreLib.dll
 7 Fields:
 8               MT    Field   Offset                 Type VT     Attr            Value Name
 9 00007970ce636448  4001aec        8       System.Int32[]  0 instance 0000796f384143a8 _buckets
10 00007970ce636250  4001aed       10 ...ivate.CoreLib]][]  0 instance 0000796f384143d0 _entries
11 00007970ce5fa0e8  4001aee       30         System.Int32  1 instance                1 _count

大家如果了解.net Dictionary类型的实现,就知道目前这个dictionary是1size且具体的item值可以直接用!dp看:

 

 Dictionary里的_entries是个数组,item类型是value type,所以是inlined memory, 所以直接看0000796f38412948, 因为他是数组中第0个元素里的key-value pair里的value(XXXEnv instance的地址)。

1 > do 0000796f38412948
2 Name:        XXX.Common.XXXEnv
3 MethodTable: 00007970d459e700
4 EEClass:     00007970d45a5888
5 Size:        56(0x38) bytes
6 File:        /app/XXX.dll
7 Fields:
8               MT    Field   Offset                 Type VT     Attr            Value Name
9 00007970d340a988  400000a        8 ....Config.XXXConfig  0 instance 0000796f382898f0 _toggleConfig

最后看那个_toggleConfigInstance.EnableFallback()里面一通调用最终会读它的内容,简化代码如下:

 

 所以继续!do看一下这个_toggleConfig:

 

 至此原因确定,怀疑的这个方法在当前这个webAPI service下会返回false.

后记

也许有朋友会问,直接dump type是XXXConfig的instance不就行了。是的,不过在这个dump文件中,我发现了不止一个active的XXXConfig instance, 也就是说不止一处会用到这个不唯一的XXXConfig, 而我需要明确Instance.EnableFallback最终的返回,所以需要耐心探索哈 

总结

我的朋友知道了他想确定的Instance.EnableFallback在第三方service运行的时候的真实值之后,也明确了他那边的应对这个webAPI的调用方式了。

这次诊断的问题虽不是cpu过高、内存泄漏这类资源问题,但还是用上了与排查资源泄漏相同的底层调试诊断技术来解决。最后我的朋友很高兴,吃了个定心丸

有关一次k8s docker下.net程序的异常行为dump诊断的更多相关文章

  1. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代

  2. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  3. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  4. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  5. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后,Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用,我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  6. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件? - 2

    在选择我想要运行操作的频率时,唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案,但您可以安排它每天运行,并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/8692687/

  7. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如,一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情,所以我什至不知道从哪里开始。任何帮助,将不胜感激。谢谢! 最佳答案 无论Rails是什么,几乎所有Web应用程序都有您的要求,大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去,网站不应直接访问彼此

  8. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  9. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗? - 2

    刚入门rails,开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗?有哪些用例。您如何为Rails应用程序使用应用程序Controller?我不想在那里放太多代码,因为据我了解,每个请求都会调用此Controller。这是真的? 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度,尽管在某些情况下ApplicationContr

  10. ruby - 如何模拟 Net::HTTP::Post? - 2

    是的,我知道最好使用webmock,但我想知道如何在RSpec中模拟此方法:defmethod_to_testurl=URI.parseurireq=Net::HTTP::Post.newurl.pathres=Net::HTTP.start(url.host,url.port)do|http|http.requestreq,foo:1endresend这是RSpec:let(:uri){'http://example.com'}specify'HTTPcall'dohttp=mock:httpNet::HTTP.stub!(:start).and_yieldhttphttp.shou

随机推荐