kubenetes（k8s）安装（最全排坑篇）

首先先来给大家分享4个手册，很多人都用这些装成过，但是我只用过手册4装成过，本文会陪大家走到master节点和node节点都是ready状态。
装之前一定要保证cpu至少是2核，运行内存至少是4G。
交换分区一定要关闭
装失败后要重装一定要先卸载k8s环境，安装手册4最后有卸载语句

安装手册

• kubenetes（k8s）安装（最全排坑篇）
• 安装手册1
• 安装手册2
• 安装手册3
• 安装手册4
• 排坑记录
• • ntp时间同步出错
  • • 原因1
    • 解决1
    • 原因2
    • 解决2
  • k8s初始化报延时错误
  • • 原因1
    • 解决1
  • 从节点加入主节点加不上
  • • 原因1
    • 解决1
  • 主节点node是NotReady状态
  • • 原因1
    • 解决1

安装手册1

这是培训结构老师教的1.11.1版本。

主机准备
192.168.0.200 master.com
192.168.0.201 node1.com
192.168.0.202 node2.com

互信  时间同步//这一步的代码自己看别的帖子吧
下面开始部署master节点

1.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

2.关闭selinux
setenforce 0
cat /etc/selinux/config
SELINUX=disabled

3.创建/etc/sysctl.d/k8s.conf,添加如下内容
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

4.执行如下命令,是修改生效
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf

5.安装系统工具
yum install -y yum-utils device-mapper-persistent-data lvm2

6.添加软件源信息
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

7.查看docker软件版本,安装指定版本
yum list docker-ce.x86_64 --showduplicates | sort -r
yum -y install docker-ce-[VERSION]
比如:
yum -y install docker-ce-17.12.1.ce-1.el7.centos

[root@master ~]# yum remove docker-ce-cli-1:18.09.0-3.el7.x86_64
[root@master ~]# yum remove docker-ce
[root@master ~]# yum -y install docker-ce-18.06.1.ce-3.el7

8.安装完毕,启动docker
systemctl start docker;systemctl enable docker

二.安装k8s
可以将下面这些拉镜像语句放在一个TXT中，然后bash这个TXT。
docker pull cloudnil/etcd-amd64:3.2.18
docker pull cloudnil/pause-amd64:3.1
docker pull cloudnil/kube-proxy-amd64:v1.11.1
docker pull cloudnil/kube-scheduler-amd64:v1.11.1
docker pull cloudnil/kube-controller-manager-amd64:v1.11.1
docker pull cloudnil/kube-apiserver-amd64:v1.11.1
docker pull cloudnil/k8s-dns-sidecar-amd64:1.14.4
docker pull cloudnil/k8s-dns-kube-dns-amd64:1.14.4
docker pull cloudnil/k8s-dns-dnsmasq-nanny-amd64:1.14.4
docker pull cloudnil/kube-discovery-amd64:1.0
docker pull cloudnil/dnsmasq-metrics-amd64:1.0
docker pull cloudnil/exechealthz-amd64:1.2
docker pull cloudnil/coredns:1.1.3
#对镜像重命名
docker tag cloudnil/etcd-amd64:3.2.18 k8s.gcr.io/etcd-amd64:3.2.18
docker tag cloudnil/pause-amd64:3.1 k8s.gcr.io/pause:3.1
docker tag cloudnil/kube-proxy-amd64:v1.11.1 k8s.gcr.io/kube-proxy-amd64:v1.11.1
docker tag cloudnil/kube-scheduler-amd64:v1.11.1 k8s.gcr.io/kube-scheduler-amd64:v1.11.1
docker tag cloudnil/kube-controller-manager-amd64:v1.11.1 k8s.gcr.io/kube-controller-manager-amd64:v1.11.1
docker tag cloudnil/kube-apiserver-amd64:v1.11.1 k8s.gcr.io/kube-apiserver-amd64:v1.11.1
docker tag cloudnil/kube-discovery-amd64:1.0 k8s.gcr.io/kube-discovery-amd64:1.0
docker tag cloudnil/k8s-dns-sidecar-amd64:1.14.4 k8s.gcr.io/k8s-dns-sidecar-amd64:1.14.4
docker tag cloudnil/k8s-dns-kube-dns-amd64:1.14.4 k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.4
docker tag cloudnil/k8s-dns-dnsmasq-nanny-amd64:1.14.4 k8s.gcr.io/k8s-dns-dnsmasq-nanny-amd64:1.14.4
docker tag cloudnil/dnsmasq-metrics-amd64:1.0 k8s.gcr.io/dnsmasq-metrics-amd64:1.0
docker tag cloudnil/exechealthz-amd64:1.2 k8s.gcr.io/exechealthz-amd64:1.2
docker tag cloudnil/coredns:1.1.3 k8s.gcr.io/coredns:1.1.3
#删除镜像
docker rmi cloudnil/etcd-amd64:3.2.18
docker rmi cloudnil/pause-amd64:3.1
docker rmi cloudnil/kube-proxy-amd64:v1.11.1
docker rmi cloudnil/kube-scheduler-amd64:v1.11.1
docker rmi cloudnil/kube-controller-manager-amd64:v1.11.1
docker rmi cloudnil/kube-apiserver-amd64:v1.11.1
docker rmi cloudnil/k8s-dns-sidecar-amd64:1.14.4
docker rmi cloudnil/k8s-dns-kube-dns-amd64:1.14.4
docker rmi cloudnil/k8s-dns-dnsmasq-nanny-amd64:1.14.4
docker rmi cloudnil/kube-discovery-amd64:1.0
docker rmi cloudnil/dnsmasq-metrics-amd64:1.0
docker rmi cloudnil/exechealthz-amd64:1.2
docker rmi cloudnil/coredns:1.1.3

2.在确保docker安装完成后，上面的相关环境配置也完成了，对应所需要的镜像(如果可以科学上网可以跳过这一步)也下载完成了，现在我们就可以来安装kubeadm了，我们这里是通过指定yum源的方式来进行安装的：
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes] name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

当然了，上面的yum源也是需要科学上网的，如果不能科学上网的话，我们可以使用阿里云的源进行安装：
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

由于我之前安装的时候最新版本是1.10版本，所以我上面对应的镜像都是1.10版本对应的镜像，现在阿里云对应的版本最新是1.10.3了，所以需要安装指定的版本，不然镜像会对应不上的


yum install kubelet-1.11.1-0.x86_64

yum install -y kubelet-1.11.1 kubeadm-1.11.1 kubectl-1.11.1

systemctl enable docker.service && systemctl start docker.service
systemctl enable kubelet.service && systemctl start kubelet.service

集群安装
关闭交换分区
 [root@master ~]# swapoff -a
1.初始化
到这里我们的准备工作就完成了，接下来我们就可以在master节点上用kubeadm命令来初始化我们的集群了：
kubeadm init --kubernetes-version=v1.11.1 --pod-network-cidr=10.244.0.0/16
这句要是出了SystemVerification的错误就用下面这个令
kubeadm init --kubernetes-version=v1.11.1 --pod-network-cidr=10.244.0.0/16 --ignore-preflight-errors=SystemVerification

安装手册2

下一个是我最亲爱的领导刚哥发给我的。
这是他的网站，欢迎大家多多支持：https://iicats.com
这是他的爱发电博客网址：https://afdian.net/@oleime

// 以双节点为例
192.168.1.2
192.168.1.3

准备
若未明确说明，均为所有主机都操作

设置主机名以及hosts文件
设置主机名
# 分别设置为master、node1
hostnamectl set-hostname master
hostnamectl set-hostname node1
修改hosts（两主机运行）
192.168.1.2 master
192.168.1.3 node1
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
关闭SELINUX
# 临时关闭
setenforce 0

# 永久关闭
vi /etc/selinux/config
#SELINUX修改为disabled
SELINUX=disabled 
关闭swap
swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
配置系统参数
# 制作配置文件
$ cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
EOF
# 生效文件
$ sysctl -p /etc/sysctl.d/kubernetes.conf
安装依赖
yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp
安装docker
yum remove docker docker-common docker-selinux docker-engine
yum install -y yum-utils device-mapper-persistent-data lvm2
wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
yum makecache fast
yum install docker-ce

# 安装指定版本的docker，比如17.03.2-ce
yum list docker-ce --showduplicates |sort -r
image

安装指定版本
yum install --setopt=obsoletes=0 docker-ce-selinux-17.03.2.ce-1.el7.centos docker-ce-17.03.2.ce-1.el7.centos -y
启停docker
systemctl start docker
systemctl enable docker
更改docker的cgroup-driver
# 查看
docker info | grep -i cgroup
# 默认是cgroup

# 更改为systemd
vi /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

# 重新启动docker
systemctl restart docker
安装kubeadm、kubelet、kubectl
以安装v1.11.2版本为例

配置源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
查找版本号并安装
yum makecache fast
yum list kubeadm --showduplicates | sort -r
# 其他类似
yum install kubeadm-1.11.2-0 kubelet-1.11.2-0 kubectl-1.11.2-0 -y

# 最新版可以直接使用
yum install kubeadm kubelet kubectl -y
开机自动启动kubelet
systemctl enable kubelet
systemctl start kubelet # 此时kubelet状态不是Starting，可以不用纠结
准备必要的镜像
查看必须要安装的镜像
$ kubeadm config images list --kubernetes-version v1.11.2

k8s.gcr.io/kube-apiserver-amd64:v1.11.2
k8s.gcr.io/kube-controller-manager-amd64:v1.11.2
k8s.gcr.io/kube-scheduler-amd64:v1.11.2
k8s.gcr.io/kube-proxy-amd64:v1.11.2
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd-amd64:3.2.18
k8s.gcr.io/coredns:1.1.3
各个节点安装镜像脚本
#!/bin/bash

images=(
     kube-apiserver-amd64:v1.11.2
     kube-controller-manager-amd64:v1.11.2
     kube-scheduler-amd64:v1.11.2
     kube-proxy-amd64:v1.11.2
     pause:3.1
     etcd-amd64:3.2.18
     coredns:1.1.3

)
for imageName in ${images[@]} ; do
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}
    docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName} k8s.gcr.io/${imageName}
    docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}
done
初始化集群（只master节点执行）
初始化
kubeadm init --kubernetes-version=v1.11.2 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.1.2 --token-ttl 0
--token-ttl：设置为0表示生成的token不过期

会生成类似如下的输出
image
记住最下面的一行命令行，类似：

kubeadm join 192.168.1.2:6443 --token hu2clf.898he8fnu64w3fur --discovery-token-ca-cert-hash sha256:2a196bbd77e4152a700d294a666e9d97336d0f7097f55e19a651c19e03d340a4
允许使用kubectl访问集群
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
节点加入集群（在node节点上执行）
kubeadm join 192.168.1.2:6443 --token hu2clf.898he8fnu64w3fur --discovery-token-ca-cert-hash sha256:2a196bbd77e4152a700d294a666e9d97336d0f7097f55e19a651c19e03d340a4
重新创建集群
kubeadm reset
kubeadm init xxx.xxxxx
安装网络插件flannel
mkdir -p ~/k8s/
cd ~/k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# vi kube-flannel.yml，将里面的Network网段修改为跟上面kubeadm init后面紧跟的--pod-network-cidr一样的网段，不然会报错
kubectl apply -f kube-flannel.yml

查看状态
kubectl get pod --all-namespaces
image

kubectl get nodes
image

设置master node参与工作负载（只在master节点执行）
允许master节点部署pod，使用命令如下:
kubectl taint nodes --all node-role.kubernetes.io/master-
输出如下

node "k8s" untainted
# 输出error: taint “node-role.kubernetes.io/master:” not found错误忽略。
禁止master部署pod
kubectl taint nodes k8s node-role.kubernetes.io/master=true:NoSchedule
集群中移除Node
在master节点上执行
kubectl drain node1 --delete-local-data --force --ignore-daemonsets
kubectl delete node node1
在node1上执行
kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
其他
重新创建join的token
kubeadm token create --print-join-command

安装手册3

这是我们公司的研发同学发给我的，适用于ubantu，centos应该也能用，大家说的就是把apt换成yum，但是我不会，这个就给会的人看看吧。

1、k8s源
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl

2、安装k8s组件
apt install kubelet=1.23.7-00 kubectl=1.23.7-00 kubeadm=1.23.7-00
apt-mark kubelet=1.23.7-00 kubectl=1.23.7-00 kubeadm=1.23.7-00

3.docker环境
vim /etc/apt/sources.list
deb https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial main
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add 

kubeadm config images list
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.23.7
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.23.7
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.23.7
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.23.7
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.1-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.8.6
docker tag registry.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName

kubeadm config print init-defaults > kubeadm.yaml
localAPIEndpoing Address
podSubnet 10.244.0.0/16

 journalctl -u kubelet
 journalctl -u kubelet
tail -100f /var/log/messages|grep kube
journalctl --since "20 min ago" -u kubelet
journalctl -f -u kubelet.service

kubeadm init \
  --apiserver-advertise-address=192.168.127.135 \
  --image-repository registry.aliyuncs.com/google_containers \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=192.168.0.0/16\
  --ignore-preflight-errors=all

安装手册4

这是我历时两周终于找到的我适用的帖子，并成功安装上，原文链接在这：https://blog.csdn.net/m0_60028455/article/details/125911375
下面是正文：
1.查看系统版本信息以及修改配置信息
1.1 安装k8s时，临时关闭swap ，如果不关闭在执行kubeadm部分命令会报错

swapoff -a
或直接注释swap（需要重启生效）

[root@hhdcloudrd7 /]# cat /etc/fstab

/etc/fstab
Created by anaconda on Tue Apr 19 11:43:17 2022
Accessible filesystems, by reference, are maintained under ‘/dev/disk’
See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info

/dev/mapper/centos_hhdcloudrd6-root / xfs defaults 0 0
UUID=13a8fe45-33c8-4258-a434-133ce183d3c3 /boot xfs defaults 0 0
#/dev/mapper/centos_hhdcloudrd6-swap swap swap defaults 0 0

10
1.2 安装k8s时，可以临时关闭selinux，减少额外配置

setenforce 0
或修改 /etc/sysconfig/selinux 文件 后重启

[root@localhost /]# cat /etc/sysconfig/selinux

This file controls the state of SELinux on the system.
SELINUX= can take one of these three values:
enforcing - SELinux security policy is enforced.
permissive - SELinux prints warnings instead of enforcing.
disabled - No SELinux policy is loaded.
SELINUX=disabled
SELINUXTYPE= can take one of three values:
targeted - Targeted processes are protected,
minimum - Modification of targeted policy. Only selected processes are protected.
mls - Multi Level Security protection.
SELINUXTYPE=targeted

1.3 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
1
1.4 启用 bridge-nf-call-iptables 预防网络问题

echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
1.5 设置网桥参数

cat << EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

1.6 修改hosts文件 方便查看域名映射

[root@hhdcloudrd7 /]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.34.7 k8s-master
192.168.5.129 k8s-node1
192.168.34.8 k8s-node2

1.7 查看系统版本信息 修改hostname

[root@localhost /]# hostnamectl
Static hostname: localhost.localdomain
Icon name: computer-vm
Chassis: vm
Machine ID: 5c2c4826a7cd442a85c37d3b4dba39e0
Boot ID: 3f70bab69c37412da8eada29d50cc12c
Virtualization: vmware
Operating System: CentOS Linux 7 (Core)
CPE OS Name: cpe:/o:centos:centos:7
Kernel: Linux 3.10.0-1160.el7.x86_64
Architecture: x86-64

hostnamectl set-hostname k8s-node1
su root
1
1.8 查看cpu信息 k8s安装至少需要2核2G的环境，否则会安装失败

lscpu
2. 安装docker
进入查看docker基础

2.1 使用阿里云安装

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
2.2 修改docker的 /etc/docker/daemon.json文件

[root@localhost /]# cat /etc/docker/daemon.json
{
“registry-mirrors”: [“https://t81qmnz6.mirror.aliyuncs.com”],
“exec-opts”: [“native.cgroupdriver=systemd”]
}

2.3 修改完成后 重启docker ，使docker与kubelet的cgroup 驱动一致

systemctl daemon-reload
systemctl restart docker
systemctl enable docker

2.4 查看kubelet驱动

cat /var/lib/kubelet/config.yaml |grep group
3.安装kubeadm kubelet kubectl
3.1 配置k8s下载资源配置文件

cat >> /etc/yum.repos.d/kubernetes.repo < EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

3.2 安装 kubelet kubeadm kubectl

yum install -y --nogpgcheck kubelet-1.23.5 kubeadm-1.23.5 kubectl-1.23.5
kubelet ：运行在cluster，负责启动pod管理容器
kubeadm ：k8s快速构建工具，用于初始化cluster
kubectl ：k8s命令工具，部署和管理应用，维护组件
3.2.1 查看是否安装成功

kubelet --version
kubectl version
kubeadm version

3.3 启动kubelet

systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet

3.4 拉取init-config配置 并修改配置

ps. init-config 主要是由 api server、etcd、scheduler、controller-manager、coredns等镜像构成

kubeadm config print init-defaults > init-config.yaml
3.4.1 修改 刚才拉取的init-config.yaml文件

imageRepository: registry.aliyuncs.com/google_containers
[root@localhost /]# cat init-config.yaml
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:

• groups:
  • system:bootstrappers:kubeadm:default-node-token
    token: abcdef.0123456789abcdef
    ttl: 24h0m0s
    usages:
  • signing
  • authentication
    kind: InitConfiguration
    localAPIEndpoint:
    advertiseAddress: 192.168.34.7 #master节点IP地址
    bindPort: 6443
    nodeRegistration:
    criSocket: /var/run/dockershim.sock
    imagePullPolicy: IfNotPresent
    name: master #master节点node的名称
    taints: null

---

apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers #修改为阿里云地址
kind: ClusterConfiguration
kubernetesVersion: 1.23.0
networking:
dnsDomain: cluster.local
serviceSubnet: 10.96.0.0/12
scheduler: {}

3.5 拉取k8s相关镜像

kubeadm config images pull --config=init-config.yaml
多次尝试都是超时,上网时找了很多方法依旧不行，之后找到一个命令可以查看需要拉取的镜像

使用下边的命令可以查看 需要拉取的镜像

[root@localhost /]# kubeadm config images list --config init-config.yaml
registry.aliyuncs.com/google_containers/kube-apiserver:v1.23.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.23.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.23.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.23.0
registry.aliyuncs.com/google_containers/pause:3.6
registry.aliyuncs.com/google_containers/etcd:3.5.3-0
registry.aliyuncs.com/google_containers/coredns:v1.8.6

同理可得 以下脚本

#!/bin/bash

images=kubeadm config images list --config init-config.yaml

if [[ -n ${images} ]]
then
echo “开始拉取镜像”
for i in ${images};
do
echo $i
docker pull $i;
done
else
echo “没有可拉取的镜像”
fi

最终拉取镜像成功 注意我图片上是1.24版本 这个版本不支持docker容器 给大家提个醒

3.6 运行kubeadm init安装master节点 主要两种方法 2选一即可

主要是初始化master节点 其他node节点通过 kubeadm join 进来

#方法一
kubeadm init --config=init-config.yaml
1
#方法二
kubeadm init --apiserver-advertise-address=192.168.34.7 --apiserver-bind-port=6443 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --kubernetes-version=1.23.5 --image-repository registry.aliyuncs.com/google_containers
1
推荐使用第二种方法，我在使用第一种方法时候遇到了网络插件pod启动失败导致corndns的pod也创建失败的情况，我是用的是kube-flannel，他的状态一直是CrashLoopBackOff 经过查看log信息，需要去 /etc/kubernetes/manifests/kube-controller-manager.yaml下增加这两条信息

–allocate-node-cidrs=true
–cluster-cidr=10.244.0.0/16
1
下载完成后可以看到这个界面

ps. 如果下载失败执行 kubeadm reset ，重新执行kubeadm init

之前有使用kubeadm安装过，需要提前把之前的kube文件删除掉

rm -rf $HOME/.kube
在master节点运行以下三行命令 执行完成后可以通过 kubeadm token list获取token

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id-u):$(id -g) $HOME/.kube/config
1
2
如果是使用1.24版本需要安装对应的CRI容器要不然就会报这个错误 [ERROR CRI]: container runtime is not running: output: time=“2022-05-19T16:02:33+08:00” level=fatal msg=“getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService” , error: exit status 1

3.7 查看token信息 以及生成 永久token

3.7.1 查看存在的token

kubeadm token list
3.7.2 生成永久token

kubeadm token create --ttl 0
3.7.3 生成 Master 节点的 ca 证书 sha256 编码 hash 值

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed ‘s/^.* //’
3.7.4 在node节点 执行加入master命令

kubeadm join 192.168.34.7:6443 --token abcdef.0123456789abcdef
–discovery-token-ca-cert-hash sha256:d06b56614f1fcbf3e852bc440ab96a9c8846f7b2f1efd740fe320dc22705f485
1
3.7.5 在master节点查看 加入的node节点 或删除节点

kubectl get nodes
kubectl delete nodes 节点名称
1

3.7.6 master节点删除node节点后，node节点再次加入需要在node节点执行 kubeadm reset

3.7.7 部署网络插件 kube-flannel.yml 并 应用获取运行中容器

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml

3.7.8 或使用 weave 网络插件 和 kube-flannel 2选一就可以

wget http://static.corecore.cn/weave.v2.8.1.yaml
kubectl apply -f weave.v2.8.1.yaml
3.8 查看kubelet日志

journalctl -xefu kubelet
3.9 kubernetes中文文档

Kubernetes中文社区 | 中文文档

4.卸载k8s

yum -y remove kubelet kubeadm kubectl
sudo kubeadm reset -f
sudo rm -rvf $HOME/.kube
sudo rm -rvf ~/.kube/
sudo rm -rvf /etc/kubernetes/
sudo rm -rvf /etc/systemd/system/kubelet.service.d
sudo rm -rvf /etc/systemd/system/kubelet.service
sudo rm -rvf /usr/bin/kube*
sudo rm -rvf /etc/cni
sudo rm -rvf /opt/cni
sudo rm -rvf /var/lib/etcd
sudo rm -rvf /var/etcd
————————————————
版权声明：本文为CSDN博主「萌褚」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/m0_60028455/article/details/125911375

排坑记录

ntp时间同步出错

原因1

没有安装ntp服务器

解决1

安装ntp时间服务器

yum install ntp ntpdate -y

原因2

没有给虚拟机设置时区

解决2

给虚拟区设置时区为上海
timedatectl set-timezone Asia/Shanghai

k8s初始化报延时错误

原因1

找不到原因

解决1

卸载所有k8s，按照手册重新安装
下面是卸载命令

sudo kubeadm reset -f
 sudo rm -rvf $HOME/.kube
 sudo rm -rvf ~/.kube/
 sudo rm -rvf /etc/kubernetes/
sudo rm -rvf /etc/systemd/system/kubelet.service.d
sudo rm -rvf /etc/systemd/system/kubelet.service
 sudo rm -rvf /usr/bin/kube*
 sudo rm -rvf /etc/cni
 sudo rm -rvf /opt/cni
 sudo rm -rvf /var/lib/etcd
 sudo rm -rvf /var/etcd

从节点加入主节点加不上

原因1

token失效

解决1

获取master节点最新token

kubeadm token create --print-join-command

主节点node是NotReady状态

原因1

查看kubelet日志看什么错误
下面是查看日志语句

journalctl -f -u kubelet.service 

我的日志显示：“Error validating CNI config list” configList=“{\n “cniVersion”: “0.3.0”,\n “name”: “weave”,\n “plugins”: [\n {\n “name”: “weave”,\n “type”: “weave-net”,\n “hairpinMode”: true\n },\n {\n “type”: “portmap”,\n “capabilities”: {“portMappings”: true},\n “snat”: true\n }\n ]\n}\n” err=“[failed to find plugin “portmap” in path [/opt/cni/bin]]”
Nov 19 10:30:13 master.com kubelet[76650]: I1119 10:30:13.806319 76650 cni.go:240] “Unable to update cni config” err=“no valid networks found in /etc/cni/net.d”
Nov 19 10:30:14 master.com kubelet[76650]: E1119 10:30:14.872240 76650 kubelet.go:2347] “Container runtime network not ready” networkReady=“NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized”

意思是是/etc/cni/net.d中网络没配好

解决1

重新装一下kubernetes-cni插件

yum reinstall -y kubernetes-cni
yum reinstall -y kubernetes-cni --nogpgcheck

再重新

kubectl get nodes

就看到已经全部ready了

还没ready的就再等一分钟