草庐IT

k8s查看多个pod日志问题研究

笑纹 2024-03-17 原文

痛点

在接触k8s一段时间以后.有个问题一直困扰着我. 线上日志是用graylog工具聚合的.但是存在延时15分钟的问题. 为了提高效率.想直接用kubectl命令行查看pod的日志. 然而线上分灰度与正式环境且一个服务会有多个pod实例运行.那么请求进来了 应该查看哪个pod的日志呢?

思考过程

1. 查看单个pod日志

查看一个pod日志的方法我知道:

kubectl logs [-f] [-n namspace] pod

还有一种方式是进入pod后查看应用内部的日志:

kubectl exec -it [-n namespace] pod bash

2. 查看多个pod的日志

那么,如果想查看多个pod中的日志呢? google一番,找到了这个方法:

1) 查看同一个deployment下的pod日志

kubectl logs -f deployment/<name-of-deployment>

该命令可以查看一个deployment下所有pod输出的日志.

2) 查看同一组标签下的pod日志

那么思维扩散一下. 我想同时查看两个在不同deployment的下日志?或者换个说法, 我对业务不熟悉.根本不知道pod在哪个deployment 哪个service下. 线上出了bug我要去定位.这时候怎么找pod日志?这时候我发现了一个可以通过pod的lable标签来输出日志的方法:
查看pod描述信息

kubectl describe pod XXX

kubectl describe pod api-55f5d8d49d-kzmcj

// output

Name:         api-55f5d8d49d-kzmcj
Namespace:    default
Priority:     0
Node:         172.16.6.7/172.16.6.7
Start Time:   Wed, 07 Apr 2021 15:16:36 +0800
Labels:       app=api
              configAppliedTime=20210407070043
              enable=true
              pod-template-hash=55f5d8d49d
              version=pro

... 省略

lable是每个pod的唯一标识符,所以以下命令:

kubectl logs -f -l app=api

可以查看所有带有app=api标签的pod日志

前提是我知道. 请求进入k8s集群后会先经过ingress-controller. 根据ingress中配置的规则找到service再由service负载到具体的pod.因为ingress-controller也是一个pod,由此联想到.是否可以找到一个所有ingress-controller都包含的lable标签. 通过kubeclt logs -f -l 实时跟踪所有ingress-controller的日志. 这时只需要找到我们的请求在ingress-controller中的日志信息. 就能知道请求去到了哪个命名空间哪个service.在跟踪这个service下的所有pod日志即可.
需要注意的是kubectl logs -f 结合标签选择器看pod日志. 对于实时跟踪的pod数量有限制:

kubectl logs -f -l "env=hz-k8s-ganjiang,app=im-agent-web"
error: you are attempting to follow 20 log streams, but maximum allowed concurrency is 5, use --max-log-requests to increase the limit

此时只需要带上 --max-log-requests 参数即可:

kubectl logs -f --max-log-requests=n -l "env=hz-k8s-ganjiang,app=im-agent-web"

总结

查看多个pod的日志的方式有两种

  • 查看deploy日志
  • 查看拥有一组相同lable的日志
kubectl logs -f deployment/<name-of-deployment>
kubectl logs -f -l "lable1=value1,lable2=value2"

其实查看一组pod的日志的问题本质是如何筛选出你想要的一组pod.进一步扩散思维.我们想知道的在kebenetes中如何选择一组对象资源.这就涉及到kubenetes的选择器. 包括标签选择器和对象选择器.后续将会介绍.

k8spodspanclasstokenkubernetes容器云原生

有关k8s查看多个pod日志问题研究的更多相关文章

  1. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  2. ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2

    我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代

  3. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  4. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  5. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby - 多个属性的 update_column 方法 - 2

    我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法，但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2

  8. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  9. ruby-on-rails - 在 ruby​​ .gemspec 文件中，如何指定依赖项的多个版本？ - 2

    我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作，我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容，因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表？~>3.0还是~>4.0？ 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本，你可以这

  10. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

随机推荐