小白防忘
最近学习了k8s的基础用法，就想着拿个实际的springCloud项目来练练手，结果被直接被拦在了第一关注册中心，不过还好有官方的配置文档，但配置过程中还是有一些坑，所以在这里记录一下。
部署环境：

• ubuntu20.04
• docker version 20.10.12
• k8s version 1.23.1
• kubeadm 一主两从

本篇主要参考nacos官方k8s配置文档的配置顺序，配置文件。
废话不多说直接开肝。
虚拟机上需要安装nfs

#本篇所有执行的命令都是在root用户下操作
#安装命令，master节点 node节点都需要安装
apt-get install nfs-kernel-server -y
#重启命令
service nfs-kernel-server restart

第一大步配置NFS-Client Provisioner，目的是为之后进行nacos扩容的时候自动申请pvc、pv，省去了每次nacos扩缩容时需要人为的创建pvc、pv的时间。
创建角色，执行rbac.yaml

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
  resources: ["persistentvolumes"]
  verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
  resources: ["persistentvolumeclaims"]
  verbs: ["get", "list", "watch", "update"]
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["events"]
  verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
rules:
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

在执行deployment.yaml文件之前需要创建pv，pvc，官方文档没有给出，需要自己创建。
在创建pv，pvc之前需要先在nfs上暴露文件，以及文件的读写权限

#只需要master节点上操作一次就可以了。
#创建文件,文件地址随意,自己找得到就行
mkdir /root/data/nacos
#赋予权限
chmod 777 /root/data/nacos
#在nfs中添加要暴露的文件及其读写权限
gedit /etc/exports 或者 vi /etc/exports
#在开的文件中添加要暴露的文件位置及其读写权限
/root/data/nacos *(insecure,rw,async,no_root_squash)
#保存之后重启nfs服务，一定要记得重启
service nfs-kernel-server restart

mysql是一会儿部署mysql时准备的
重启完nfs之后就可以直接执行pv.yaml和pvc.yaml（按顺序执行）。
pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nacos-pv
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/nacos #存储卷的实际位置，与nfs暴露的文件地址相同
    server: 192.168.220.131 #nfs服务器的ip地址

pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-client-root #pvc的名字需要和deployment.yaml中的名字相同
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi

pv.yaml和pvc.yaml执行完毕之后执行deployment.yaml，在执行前需要修改yaml文件中一下配置，代码块中已标明。

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
---
kind: Deployment
apiVersion: apps/v1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccount: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          #不使用官方准备的镜像的原因在下面会说明。
          #image: quay.io/external_storage/nfs-client-provisioner:latest
          image: easzlab/nfs-subdir-external-provisioner:v4.0.1
          #镜像拉取策略看自己的网速把
          imagePullPolicy: IfNotPresent
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: fuseim.pri/ifs #和storageClass里的命名相同
            - name: NFS_SERVER
              value: 192.168.220.131 #nfs服务器地址
            - name: NFS_PATH
              value: /root/data/nacos #nfs服务器上暴露的文件地址
      volumes:
        - name: nfs-client-root #pvc的名字相同
          nfs:
            server: 192.168.220.131 #nfs服务器地址
            path: /root/data/nacos #nfs服务器上暴露的文件地址

之所以不用官方准备的镜像是因为k8s的版本问题，在k8s 1.20即以上的版本禁用了selfLink，如果什么都不修改会导致之后创建的nacos pod一直处于pending状态。
修改方法有两种：
第一种是修改kube-apiserver.yaml，添加一行- --feature-gates=RemoveSelfLink=false

#打开文件
gedit /etc/kubernetes/manifests/kube-apiserver.yaml
#或者
vi /etc/kubernetes/manifests/kube-apiserver.yaml

保存之后重新执行kube-apiserver.yaml即可
kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml
第二种是直接指定provisioner的镜像为4.0以上的版本即可。
参考文章：文章一，文章二
然后查看pod状态，如果处于running即为部署成功。
最后部署StorageClass，用来自动申请pv，pvc，执行clss.yaml文件
class.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: managed-nfs-storage
provisioner: fuseim.pri/ifs #和deployment.yaml中的PROVISIONER_NAME 相同
parameters:
  archiveOnDelete: "false"

第二大步部署mysql，在部署mysql之前同样需要先配置pv，pvc，配置步骤同上（记得先暴露文件），我直接放yaml配置文件了。
pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nacos-mysql-pv
spec:
  capacity:
    storage: 2Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/mysql #执行yaml之前记得在exports文件中暴露该文件地址，以及重启nfs服务
    server: 192.168.220.131

pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata: 
  name: mysql-data #这里的名字需要和mysql.yaml中的名字相同
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi

创建完pv，pvc之后（按顺序执行），执行mysql-nfs.yaml文件，执行前需要修改部分配置，已标明。
mysql-nfs.yaml

apiVersion: v1
kind: ReplicationController
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  replicas: 1
  selector:
    name: mysql
  template:
    metadata:
      labels:
        name: mysql
    spec:
      containers:
      - name: mysql
        #指定版本号的镜像拉取策略默认为IfNotPresent
        image: nacos/nacos-mysql:5.7
        ports:
        - containerPort: 3306
        volumeMounts:
        - name: mysql-data #需和下面volumes中的name相同
          mountPath: /var/lib/mysql
        env:
        - name: MYSQL_ROOT_PASSWORD #root用户密码
          value: "123123" #value均可以自定义
        - name: MYSQL_DATABASE #database名称
          value: "nacos_devtest"
        - name: MYSQL_USER #用户名
          value: "nacos"
        - name: MYSQL_PASSWORD #用户密码
          value: "123123"
      volumes:
      - name: mysql-data #命名和pvc.yaml里的命名相同
        nfs:
          server: 192.168.220.131 #nfs服务器地址
          path: /root/data/mysql #nfs暴露的文件
---
apiVersion: v1
kind: Service
metadata:
  name: mysql
  labels:
    name: mysql
spec:
  ports:
  - port: 3306
    targetPort: 3306
  selector:
    name: mysql

同样创建好的pod处于running状态即为配置成功。
第三大步配置nacos，执行nacos-pvc-nfs.yaml，执行前需要修改部分配置，已标明。

---
apiVersion: v1
kind: Service
metadata:
  name: nacos-headless
  labels:
    app: nacos
  annotations:
    service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
spec:
  ports:
    - port: 8848
      name: server
      targetPort: 8848
    - port: 9848
      name: client-rpc
      targetPort: 9848
    - port: 9849
      name: raft-rpc
      targetPort: 9849
    ## 兼容1.4.x版本的选举端口
    - port: 7848
      name: old-raft-rpc
      targetPort: 7848
  clusterIP: None
  selector:
    app: nacos
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: nacos-cm
data:
  #根据刚才mysql.yaml中配置的信息进行修改
  mysql.db.name: "nacos_devtest"
  mysql.port: "3306"
  mysql.user: "root"
  mysql.password: "123123"
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: nacos
spec:
  serviceName: nacos-headless
  replicas: 2
  template:
    metadata:
      labels:
        app: nacos
      annotations:
        pod.alpha.kubernetes.io/initialized: "true"
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: "app"
                    operator: In
                    values:
                      - nacos
              topologyKey: "kubernetes.io/hostname"
      serviceAccountName: nfs-client-provisioner
      initContainers:
        - name: peer-finder-plugin-install
          image: nacos/nacos-peer-finder-plugin:1.1
          imagePullPolicy: IfNotPresent
          volumeMounts:
            - mountPath: /home/nacos/plugins/peer-finder
              name: nacos-data
              subPath: peer-finder
      containers:
        - name: nacos
          imagePullPolicy: IfNotPresent
          image: nacos/nacos-server:latest
          resources:
            requests:
              memory: "2Gi"
              cpu: "500m"
          ports:
            - containerPort: 8848
              name: client-port
            - containerPort: 9848
              name: client-rpc
            - containerPort: 9849
              name: raft-rpc
            - containerPort: 7848
              name: old-raft-rpc
          env:
            - name: NACOS_REPLICAS
              value: "2"
            - name: SERVICE_NAME
              value: "nacos-headless"
            - name: DOMAIN_NAME
              value: "cluster.local"
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.namespace
            - name: MYSQL_SERVICE_DB_NAME
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.db.name
            - name: MYSQL_SERVICE_PORT
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.port
            - name: MYSQL_SERVICE_USER
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.user
            - name: MYSQL_SERVICE_PASSWORD
              valueFrom:
                configMapKeyRef:
                  name: nacos-cm
                  key: mysql.password
            - name: NACOS_SERVER_PORT
              value: "8848"
            - name: NACOS_APPLICATION_PORT
              value: "8848"
            - name: PREFER_HOST_MODE
              value: "hostname"
          volumeMounts:
            - name: nacos-data #这里的name都要与volumeClaimTemplates中的name相同
              mountPath: /home/nacos/plugins/peer-finder
              subPath: peer-finder
            - name: nacos-data
              mountPath: /home/nacos/data
              subPath: data
            - name: nacos-data
              mountPath: /home/nacos/logs
              subPath: logs
  volumeClaimTemplates:
    - metadata:
        name: nacos-data 
        annotations:
          volume.beta.kubernetes.io/storage-class: "managed-nfs-storage" #填写class.yaml中的name
      spec:
        accessModes: [ "ReadWriteMany" ]
        resources:
          requests:
            storage: 20Gi
  selector:
    matchLabels:
      app: nacos

最后查看一下pod状态，都处于running状态即为成功。
我这里有重启的次数是因为我的nacos集群不是一次性部署好的，中途关过虚拟机，正常情况下重启次数应为0。
最后部署一下ingress即可，执行nacos-ingress.yaml
nacos-ingress.yaml

#特别强调一点，k8s的版本不同ingress配置的一些细节不同，具体可以看看官网，
#我展示的配置信息，只能保证1.23.1版本的k8s可以使用。
#nacos-k8s里也有ingress的配置，可以参考一下
#./nacos-k8s/deploy/nacos/nacos-no-pvc-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nacos-ingress-http
  labels:
    nacos: ingress-http
  annotations:
    kubernetes.io/ingress.class: nginx
spec:
  rules:
  - host: nacos.yufang.com #自定义,ingress规定只能使用域名，没有的可以去修改host文件
    http:
      paths:
      - path: / #自定义,建议就这样，不然在springCloud服务注册时报错405
        pathType: Prefix #必须配置匹配策略
        backend:
          service: 
            name: nacos-headless
            port: 
              number: 8848

执行完之后，直接浏览器访问 nacos.yufang.com:32508/nacos/index.html即可。端口号通过kubectl get svc -n ingress-nginx命令查看。
强调一下，ingress也是需要提前部署ingress-controller，不是直接开用的。
部署方法自行百度把，比较简单。
浏览器访问，账号密码都为nacos。

看到登录页面悬着的心也能安稳落地了。