草庐IT

Kubernetes 的 NameSpace 无法删除应该怎么办？

east4ming 2023-03-28 原文

概述

有时候我们操作不规范，或者删除的先后顺序有问题，或者某项关键服务没有启动，导致 Kubernetes 经常会出现无法删除 NameSpace 的情况。这种情况下我们应该怎么办？

规范删除流程

其实，很多时候出现这种情况，主要是因为我们的删除操作不规范，典型的有下面几种情况：

  • 删除的先后顺序有问题，如：
    • 先删除了 Traefik 的关键组件，再尝试删除包含 Traefik Ingress 或 EdgeIngress 的 CRD
  • 某项关键服务没有启动，如：
    • 对于安装了 Prometheus Operator + custom adapter 的 Kubernetes 集群，在 Prometheus 的一些关键组件 scale down 的情况下，删除包含这些监控 CRD 或 HPA custom metric 的 NameSpace

...

综上，根源上，大部分情况下 NameSpace 无法删除，都是我们操作有错在先。

为了避免此类错误再犯，推荐搭建删除按照如下流程：

  1. 保证所有基础服务组件都是正常运行的状态（如前面提到的，ingress 组件，监控组件，servicemesh 组件。..)
  2. 检查要删除的 NameSpace 下的所有资源，特别是 CRD, 这里推荐使用 Krew - Kubernetes 的 CLI 插件管理器 安装 get-all 来真正地获取该 NameSpace 下的所有资源，如后面的代码块所示：
  3. 针对其中的一些 CRD 或特殊资源，最好先明确指定删除并确保可以成功删除掉
  4. 最后，再删除该 NameSpace

第 2 步的代码块：（有如此多的 CRD)

❯ kubectl get-all -n cert-manager
NAME                                                                              NAMESPACE     AGE
configmap/cert-manager-webhook                                                    cert-manager  277d
configmap/kube-root-ca.crt                                                        cert-manager  277d
endpoints/cert-manager                                                            cert-manager  277d
endpoints/cert-manager-webhook                                                    cert-manager  277d
endpoints/cert-manager-webhook-dnspod                                             cert-manager  277d
pod/cert-manager-6d6bb4f487-hkwpn                                                 cert-manager  85d
pod/cert-manager-6d6bb4f487-wgtd8                                                 cert-manager  85d
pod/cert-manager-cainjector-7d55bf8f78-5797c                                      cert-manager  277d
pod/cert-manager-webhook-577f77586f-txlcx                                         cert-manager  85d
pod/cert-manager-webhook-577f77586f-xh4st                                         cert-manager  85d
pod/cert-manager-webhook-dnspod-5d5566c7bc-5cj4s                                  cert-manager  211d
secret/cert-manager-cainjector-token-h8cqq                                        cert-manager  277d
secret/cert-manager-token-28knj                                                   cert-manager  277d
secret/cert-manager-webhook-ca                                                    cert-manager  277d
secret/cert-manager-webhook-dnspod-ca                                             cert-manager  277d
secret/cert-manager-webhook-dnspod-letsencrypt                                    cert-manager  277d
secret/cert-manager-webhook-dnspod-secret                                         cert-manager  277d
secret/cert-manager-webhook-dnspod-token-jsjrn                                    cert-manager  277d
secret/cert-manager-webhook-dnspod-webhook-tls                                    cert-manager  277d
secret/cert-manager-webhook-token-qxq44                                           cert-manager  277d
secret/default-token-mkpmt                                                        cert-manager  277d
secret/ewhisper-crt-secret                                                        cert-manager  277d
secret/sh.helm.release.v1.cert-manager-webhook-dnspod.v1                          cert-manager  277d
secret/sh.helm.release.v1.cert-manager.v1                                         cert-manager  277d
serviceaccount/cert-manager                                                       cert-manager  277d
serviceaccount/cert-manager-cainjector                                            cert-manager  277d
serviceaccount/cert-manager-webhook                                               cert-manager  277d
serviceaccount/cert-manager-webhook-dnspod                                        cert-manager  277d
serviceaccount/default                                                            cert-manager  277d
service/cert-manager                                                              cert-manager  277d
service/cert-manager-webhook                                                      cert-manager  277d
service/cert-manager-webhook-dnspod                                               cert-manager  277d
order.acme.cert-manager.io/ewhisper-crt-6v6s4-2449993249                          cert-manager  209d
order.acme.cert-manager.io/ewhisper-crt-89n7g-2449993249                          cert-manager  23d
order.acme.cert-manager.io/ewhisper-crt-8g496-2449993249                          cert-manager  277d
order.acme.cert-manager.io/ewhisper-crt-jj24l-2449993249                          cert-manager  83d
order.acme.cert-manager.io/ewhisper-crt-q8pvw-2449993249                          cert-manager  149d
deployment.apps/cert-manager                                                      cert-manager  277d
deployment.apps/cert-manager-cainjector                                           cert-manager  277d
deployment.apps/cert-manager-webhook                                              cert-manager  277d
deployment.apps/cert-manager-webhook-dnspod                                       cert-manager  277d
replicaset.apps/cert-manager-6d6bb4f487                                           cert-manager  277d
replicaset.apps/cert-manager-cainjector-7d55bf8f78                                cert-manager  277d
replicaset.apps/cert-manager-webhook-577f77586f                                   cert-manager  277d
replicaset.apps/cert-manager-webhook-dnspod-5d5566c7bc                            cert-manager  211d
replicaset.apps/cert-manager-webhook-dnspod-5d78f9bfcb                            cert-manager  217d
replicaset.apps/cert-manager-webhook-dnspod-7c5cd575fc                            cert-manager  277d
app.catalog.cattle.io/cert-manager                                                cert-manager  270d
app.catalog.cattle.io/cert-manager-webhook-dnspod                                 cert-manager  270d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-ca-l57hl           cert-manager  277d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-7zwdh  cert-manager  277d
certificaterequest.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls-gs57f  cert-manager  34d
certificaterequest.cert-manager.io/ewhisper-crt-6v6s4                             cert-manager  209d
certificaterequest.cert-manager.io/ewhisper-crt-89n7g                             cert-manager  23d
certificaterequest.cert-manager.io/ewhisper-crt-8g496                             cert-manager  277d
certificaterequest.cert-manager.io/ewhisper-crt-jj24l                             cert-manager  83d
certificaterequest.cert-manager.io/ewhisper-crt-q8pvw                             cert-manager  149d
certificate.cert-manager.io/cert-manager-webhook-dnspod-ca                        cert-manager  277d
certificate.cert-manager.io/cert-manager-webhook-dnspod-webhook-tls               cert-manager  277d
certificate.cert-manager.io/ewhisper-crt                                          cert-manager  277d
issuer.cert-manager.io/cert-manager-webhook-dnspod-ca                             cert-manager  277d
issuer.cert-manager.io/cert-manager-webhook-dnspod-selfsign                       cert-manager  277d
endpointslice.discovery.k8s.io/cert-manager-9lm6j                                 cert-manager  277d
endpointslice.discovery.k8s.io/cert-manager-webhook-dnspod-q7f8n                  cert-manager  277d
endpointslice.discovery.k8s.io/cert-manager-webhook-z6qdd                         cert-manager  277d
rolebinding.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving        cert-manager  277d
role.rbac.authorization.k8s.io/cert-manager-webhook:dynamic-serving               cert-manager  277d
ingressroute.traefik.containo.us/alertmanager                                     cert-manager  244d
ingressroute.traefik.containo.us/grafana                                          cert-manager  255d
ingressroute.traefik.containo.us/grafana-rancher                                  cert-manager  238d
ingressroute.traefik.containo.us/prometheus                                       cert-manager  244d
ingressroute.traefik.containo.us/rsshub                                           cert-manager  268d
ingressroute.traefik.containo.us/ttrss                                            cert-manager  257d
tlsstore.traefik.containo.us/default                                              cert-manager  268d

试试强制删除

如果 NameSpace 已经处于 terminating 的状态，且久久无法删除，可以试试加上这 2 个参数强制删除：

  • --force
  • --grace-period=0
kubectl delete ns ${NAMESPACE} --force --grace-period=0

强制删除失败？再来试试这种办法

强制删除失败？再来试试这种办法：调用 Kubernetes API 删除

Hard Way 步骤

首先，获取要删除 NameSpace 的 JSON 文件：

NAMESPACE=cert-manager
kubectl get ns ${NAMESPACE} -o json > namespace.json

然后，编辑 namespace.json, 从 finalizers 字段中删除 kubernetes 的值并保存，示例如下：

{
    "apiVersion": "v1",
    "kind": "Namespace",
    "metadata": {
        ...: ...
    },
    "spec": {
        "finalizers": []
    },
    "status": {
        "phase": "Terminating"
    }
}

之后，可以通过 kubectl proxy 设置 APIServer 的临时 IP 和端口

kubectl proxy --port=6880 &

最后，进行 API 调用来强制删除：

curl -k -H "Content-Type: application/json" -X  PUT --data-binary @namespace.json http://127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize

验证是否已经成功删除：

kubectl get ns ${NAMESPACE}

编排成脚本

?Notes:

依赖组件：

  • kubectl
  • jq
  • curl

force-delete-ns.sh

#!/bin/bash
set -ex
PATH=$PATH:.
NAMESPACE=$1    # 读取命令行第一个参数
kill -9  $(ps -ef|grep proxy|grep -v grep |awk '{print $2}')
kubectl proxy --port=6880 &
kubectl get namespace ${NAMESPACE} -o json |jq '.spec = {"finalizers":[]}' > namespace.json
curl -k -H  "Content-Type: application/json"  -X  PUT --data-binary @namespace.json 127.0.0.1:6880/api/v1/namespaces/${NAMESPACE}/finalize

使用方式示例：

bash force-delete-ns.sh cert-manager

???

总结

经常会碰到 Kubernetes 的 NameSpace 无法删除的情况，这时候应该如何解决？这里提供了 3 种方案：

  1. 尽量不要出现上面这种情况 (?额。.. 废话）
  2. 加上 --force flag 强制删除
  3. 调用 namespace 的 finalize API 强制删除

但是，真到了需要强制删除的阶段，2/3 部是无法保证 100% 成功的。
所以第一步才是正道 ...（呆，但是有用）

EOF

本文由博客一文多发平台 OpenWrite 发布！

KubernetesNameSpacemanagercert-managercert

有关Kubernetes 的 NameSpace 无法删除应该怎么办？的更多相关文章

  1. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  2. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  3. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  4. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  5. ruby-on-rails - 无法使用 Rails 3.2 创建插件？ - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject)，但我没有脚本/生成，只有脚本/rails，当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗？没有这个命令可以创建插件吗？PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布，插件生成器已经被移除。查看变更日志here.现在

  6. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  7. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  8. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  9. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  10. ruby - 无法覆盖 irb 中的 to_s - 2

    我在pry中定义了一个函数:to_s，但我无法调用它。这个方法去哪里了，怎么调用？pry(main)>defto_spry(main)*'hello'pry(main)*endpry(main)>to_s=>"main"我的ruby版本是2.1.2看了一些答案和搜索后，我认为我得到了正确的答案:这个方法用在什么地方？在irb或pry中定义方法时，会转到Object.instance_methods[1]pry(main)>defto_s[1]pry(main)*'hello'[1]pry(main)*end=>:to_s[2]pry(main)>defhello[2]pry(main)

随机推荐