目录

1、linux环境初始化及内核调优

（1）设置主机名、关闭防火墙、配置集群ip映射、关闭selinux

（2）禁用linux的透明大页、标准大页

（3）禁用swap分区

（4）配置集群时间同步，同步阿里云服务器时间

（5）linux内核参数调优

（6）配置ipvs

2、rke2安装k8s

（1）主节点安装执行

（2）从节点安装执行

（3）以上安装完成后在主节点1执行（一台主节点）

（4）主节点1配置启动完成后，在其他主节点执行以下命令进行配置

（5）以上主节点都启动后，接下来在所有从节点的进行以下配置

3、集群kubectl命令行工具优化

4、rke2集群升级问题

---

        Kubernetes在1.20版之后已经废弃了Docker，而是使用Containerd作为容器运行时。

        k8s在1.20之后的版本可以使用rke2来辅助部署。单纯使用rke2部署k8s的好处是可以把k8s集群和rancher解耦合。使rancher只负责管理k8s，即使rancher出问题也不影响k8s本身。

1、linux环境初始化及内核调优

注意：在rke2中master节点一定是etcd节点，保证etcd节点的选举有效，master节点一定要是奇数，本文准备3个节点实现k8s的高可用。

以下是每台节点都需要执行的：

（1）设置主机名、关闭防火墙、配置集群ip映射、关闭selinux

#设置主机名
hostnamectl set-hostname bd-rke1.xxxx.com
#设计集群ip映射
vi /etc/hosts

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl disable iptables
systemctl stop iptables

#关闭selinux
getenforce
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
getenforce

（2）禁用linux的透明大页、标准大页

在 Linux 中大页分为两种：Huge pages ( 标准大页 ) 和 Transparent Huge pages( 透明大页 ) 。内存是以块即页的方式进行管理的，当前大部分系统默认的页大小为 4096 bytes 即 4K。1MB 内存等于 256 页；1GB 内存等于 256000 页。

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

（3）禁用swap分区

echo 0 > /proc/sys/vm/swappiness
echo 'echo 0 > /proc/sys/vm/swappiness' >> /etc/rc.local

swapoff -a
#修改 /etc/fstab文件，注释掉 SWAP 的自动挂载
vi /etc/fstab

cat <<-EOF >> /etc/sysctl.conf
vm.swappiness=0
EOF
sysctl -p 
free -h

chmod +x /etc/rc.d/rc.local

（4）配置集群时间同步，同步阿里云服务器时间

yum install -y ntp
date
#修改配置文件：
vim /etc/ntp.conf
#注销默认Server
#server 0.rhel.pool.ntp.org iburst
#server 1.rhel.pool.ntp.org iburst
#server 2.rhel.pool.ntp.org iburst
#server 3.rhel.pool.ntp.org iburst
#添加：
server  ntp1.aliyun.com prefer    #阿里云的服务器时间

#保存退出

#启动ntp
systemctl start ntpd
#设置开启启动
systemctl enable ntpd
systemctl status ntpd

（5）linux内核参数调优

#加载网桥过滤模块
modprobe br_netfilter
#查看是否成功
lsmod | grep br_netfilter
#添加网桥过滤和地址转发功能
cat <<- EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
# 下面的内核参数可以解决ipvs模式下长连接空闲超时的问题
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 10
net.ipv4.tcp_keepalive_time = 600
EOF
#重新加载配置
sysctl -p
sysctl -p /etc/sysctl.d/k8s.conf

（6）配置ipvs

yum install ipset ipvsadm

#需要加载模块写入脚本文件
cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
modprobe -- br_netfilter
EOF
chmod +x /etc/sysconfig/modules/ipvs.modules
/bin/bash /etc/sysconfig/modules/ipvs.modules
lsmod |grep -e ip_vs -e nf_conntrack_ipv4

lsmod | grep br_netfilter

---

以下仅需要主节点执行：

安装rke2时，需要查看NetworkManager，保证它不会干扰rke2，保证cali*和flannel*的网卡不被NetworkManager管理

#安装rke2时,查看NetworkManager,保证它不会干扰rke2
systemctl is-active NetworkManager
cat <<EOF > /etc/NetworkManager/conf.d/rke2-canal.conf
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:flannel*
EOF
#cali*和flannel*的网卡不被NetworkManager管理
systemctl daemon-reload
systemctl restart NetworkManager

---

2、rke2安装k8s

（1）主节点安装执行

 rke2版本目录https://github.com/rancher/rke2/releases

#安装默认最新版本的rke2
curl -sfL https://get.rke2.io|sh -

#安装指定版本的rke2，这里vx.y.z为rke2版本号
curl -sfL https://get.rke2.io | INSTALL_RKE2_VERSION=vx.y.z sh -

（2）从节点安装执行

#安装默认最新版本
curl -sfL https://get.rke2.io | INSTALL_RKE2_TYPE="agent" sh -

#指定版本执行以下命令
curl -sfL https://get.rke2.io | INSTALL_RKE2_TYPE="agent" INSTALL_RKE2_VERSION=vx.y.z sh -

（3）以上安装完成后在主节点1执行（一台主节点）

systemctl start rke2-server
systemctl enable rke2-server

#查看第一次启动后生成的文件
ll /var/lib/rancher/rke2/
ll /var/lib/rancher/rke2/bin/
ll /etc/rancher/rke2/

这里的rke2.yaml 相当于admin.conf 谁拥有该文件就有rke2集群控制权

#查看node节点和pod启动情况
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

在主节点1执行上述命令，等待集群启动完成后，接着在该节点执行以下命令进行集群配置

#查看集群的唯一token
cat /var/lib/rancher/rke2/server/node-token

 复制上述token，vim /etc/rancher/rke2/config.yaml 编辑这个文件

#/var/lib/rancher/rke2/server/node-token文件里面的token复制到这里
token: K102b4dfc868f2a36291d73365bb24aedc831efb7777bec9a9182fb1f62b2ebbc9d::server:ccfb808c305500b889ca2cd4c481b53c
tls-san:
    - xxxx.com    
node-name: "bd-kb-prd01.xxxx.com"    #配置这台节点的名字，和主机名一样

#给主节点打上污点标记，使主节点不执行pod的任务，如果只想从节点执行工作任务，主节点不执行，取消这个注释。
#node-taint:                         
#    - "CriticalAddonsOnly=true:NoExecute"

#打上master标记
node-label:
    - "node=Master"                
    - "bd-kb-prd01.xxxx.com=Master"

#设置阿里云镜像地址，加速下载
system-default-registry: "registry.cn-hangzhou.aliyuncs.com" 

#设置etcd快照策略
etcd-snapshot-retention: 2            
etcd-snapshot-schedule-cron: '*/5 * * * *'

# 自定义垃圾回收机制，添加到所所节点 
kubelet-arg:
    - "eviction-hard=nodefs.available<1%,memory.available<10Mi"
    - "eviction-soft-grace-period=nodefs.available=30s,imagefs.available=30s"
    - "eviction-soft=nodefs.available<5%,imagefs.available<1%"

重新加载配置并重启rke2

systemctl daemon-reload
systemctl restart rke2-server

#检查启动情况
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

（4）主节点1配置启动完成后，在其他主节点执行以下命令进行配置

把主节点1的 /etc/rancher/rke2/config.yaml 文件复制其他主节点

并在其他每一个主节点上进行修改，主要把节点名修改成当前节点主机名

vim /etc/rancher/rke2/config.yaml

#这里 bd-kb-prd01.xxxx.com 为主节点1的主机名
server: https://bd-kb-prd01.xxxx.com:9345
token: K102b4dfc868f2a36291d73365bb24aedc831efb7777bec9a9182fb1f62b2ebbc9d::server:ccfb808c305500b889ca2cd4c481b53c
tls-san:
    - xxxx.com
node-name: "bd-kb-prd03.xxxx.com"
#node-taint:
#    - "CriticalAddonsOnly=true:NoExecute"
node-label:
    - "node=Master"
    - "bd-kb-prd03.xxxx.com=Master"

#设置阿里云镜像地址，加速下载
system-default-registry: "registry.cn-hangzhou.aliyuncs.com" 

#设置etcd快照策略
etcd-snapshot-retention: 2            
etcd-snapshot-schedule-cron: '*/5 * * * *'

# 自定义垃圾回收机制，添加到所所节点 
kubelet-arg:
    - "eviction-hard=nodefs.available<1%,memory.available<10Mi"
    - "eviction-soft-grace-period=nodefs.available=30s,imagefs.available=30s"
    - "eviction-soft=nodefs.available<5%,imagefs.available<1%"

加载配置并启动rke2

systemctl daemon-reload
systemctl start rke2-server
systemctl enable rke2-server

等待启动完成，可以切换到主节点1查看其他主节点时候加入集群。

#等待，切换到master1查看状态
systemctl status rke2-server -l
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

（5）以上主节点都启动后，接下来在所有从节点的进行以下配置

把主节点1的 /etc/rancher/rke2/config.yaml 文件复制所有从节点

并在其他每一个从节点上进行修改，主要把从点名修改成当前节点主机名

vim /etc/rancher/rke2/config.yaml

#这里 bd-kb-prd01.xxxx.com 为主节点1的主机名
server: https://bd-rke0.xxxx.com:9345
token: K1095be49da65ea82a388d41720e83b3f68ac8a97cda987d3648939e8c01e252560::server:5e59442937d36c8f06c0b482d967d24e

#这里只需要配置节点名，一般是主机名
node-name: "bd-rke2.xxxx.com"

#给节点打上work的标记
node-label:
    - "node=Worker"
    - "bd-rke2.xxxx.com=Worker"

#配置阿里云镜像仓库，加速镜像下载
system-default-registry: "registry.cn-hangzhou.aliyuncs.com"

#从节点不需要配置etcd快照策略

# 自定义垃圾回收机制，添加到所所节点 
kubelet-arg:
    - "eviction-hard=nodefs.available<1%,memory.available<10Mi"
    - "eviction-soft-grace-period=nodefs.available=30s,imagefs.available=30s"
    - "eviction-soft=nodefs.available<5%,imagefs.available<1%"

加载配置并启动rke2工作节点

systemctl daemon-reload
systemctl start rke2-agent
systemctl enable rke2-agent 

等待启动完成，可以切换到主节点1查看从节点点时候加入集群的状态。

#等待，切换到master1查看状态
systemctl status rke2-server -l
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
/var/lib/rancher/rke2/bin/kubectl get node
/var/lib/rancher/rke2/bin/kubectl get pod -A

附命令查看本机的containeded启动情况

/var/lib/rancher/rke2/bin/crictl --runtime-endpoint=unix:///run/k3s/containerd/containerd.sock ps

3、集群kubectl命令行工具优化

#设置后使用/var/lib/rancher/rke2/bin/kubectl get node等命令
#就不用export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
mkdir ~/.kube
ln -s /etc/rancher/rke2/rke2.yaml ~/.kube/config
chmod 600 ~/.kube/config

#设置后使用/var/lib/rancher/rke2/bin/crictl --runtime-endpoint=unix:///run/k3s/containerd/containerd.sock ps
#不需要--runtime-endpoint=unix://


ln -s /var/lib/rancher/rke2/agent/etc/crictl.yaml /etc/crictl.yaml

#path设置
vi /etc/profile
export PATH=$PATH:/var/lib/rancher/rke2/bin
source /etc/profile

现在就可以直接在该节点上执行kubectl get node命令进行操作了。 

4、rke2集群升级问题

########################### rke2升级问题 ############################
# server 升级 再执行
curl -sfL https://get.rke2.io | sh -
# worker 升级
curl -sfL https://get.rke2.io | INSTALL_RKE2_TYPE="agent" sh -
#server指定版本升级
curl -sfL https://get.rke2.io | INSTALL_RKE2_VERSION=vx.y.z sh -
# worker 指定版升级
https://get.rke2.io | INSTALL_RKE2_TYPE="agent"   INSTALL_RKE2_VERSION=vx.y.z sh -