草庐IT

k8s采用StatefulSet部署redis三主三从集群并初始化集群

xmwan 2023-03-28 原文

部署简介:

1. 控制器:采用StatefulSet进行redis的部署。它为了解决有状态服务的问题,它所管理的Pod拥有固定的Pod名称,启停顺序。

2. 服务发现:两个svc,一个是暴露对外(NodePort service),一个是StatefulSet部署使用(headless service)。

在StatefulSet中与之对应的headless service,headless service,即无头服务,与service的区别就是它没有Cluster IP,解析它的名称时将返回该Headless Service对应的全部Pod的Endpoint列表。

3. 存储:数据存储:nfs。使用nfs作为后端存储,创建pv,pvc达到redis  data数据存储持久化;配置存储:configmaps。创建configmaps存储,存储redis.conf配置信息

4. redis镜像:直接在redis官网下载制作,目前redis官网引入了docker hub,也可以直接跳转到docker hub下载最新版本

 

开始部署:

一、下载redis镜像

redis官网:https://redis.io/download/   

目前官网最新版本是7.0.5,跳转到docker hub,看到目前最新的镜像是7.0.4版本

docker  hub上最新版本,这次部署就是用7.0.4版本镜像,直接在服务器上:docker pull redis:7.0.4

二、创建存储共享目录

部署好nfs后,在本地创建存储共享目录,pv1-6

[root@k8s-master1 ~]# cd /data/k8s/redis/
[root@k8s-master1 redis]# ll
total 0
drwxr-xr-x 3 root root 61 Sep 22 09:13 pv1
drwxr-xr-x 3 root root 61 Sep 22 09:13 pv2
drwxr-xr-x 3 root root 45 Sep 21 18:10 pv3
drwxr-xr-x 3 root root 61 Sep 22 09:40 pv4
drwxr-xr-x 3 root root 45 Sep 21 18:10 pv5
drwxr-xr-x 3 root root 61 Sep 22 09:13 pv6

三、创建pv

创建6个pv,用于存储redis data数据

[root@k8s-master1 redis]# cat redis-pv.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv1     #pv名称
  labels:
    type: sata        #标记存储类型
  namespace: my-ns-redis   #所属命名空间
spec:
  capacity:      #存储能力
    storage: 2Gi 
  accessModes:
    - ReadWriteMany   #可以被多节点多次读写
  persistentVolumeReclaimPolicy: Retain    #pvc删除后数据保留模式
  storageClassName: "redis"    #storageClass名称,使用nfs不需要单独传教storageClass,直接标记名称后续引用。nfs不支持动态pv
  nfs:    #nfs存储
    path:  "/data/k8s/redis/pv1"   #共享目录,需要主机上真实存在
    server: 192.168.198.144   #nfs地址
    readOnly: false

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv2
  labels:
    type: sata
  namespace: my-ns-redis
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: "redis"
  nfs:
    path:  "/data/k8s/redis/pv2"
    server: 192.168.198.144
    readOnly: false
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv3
  labels:
    type: sata
  namespace: my-ns-redis
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: "redis"
  nfs:
    path:  "/data/k8s/redis/pv3"
    server: 192.168.198.144
    readOnly: false
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv4
  labels:
    type: sata
  namespace: my-ns-redis
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: "redis"
  nfs:
    path:  "/data/k8s/redis/pv4"
    server: 192.168.198.144
    readOnly: false
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv5
  labels:
    type: sata
  namespace: my-ns-redis
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: "redis"
  nfs:
    path:  "/data/k8s/redis/pv5"
    server: 192.168.198.144
    readOnly: false
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: redis-pv6
  labels:
    type: sata
  namespace: my-ns-redis
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: "redis"
  nfs:
    path:  "/data/k8s/redis/pv6"
    server: 192.168.198.144
    readOnly: false
 
 #使用yaml文件创建pv
 [root@k8s-master1 redis]# kubectl create -f redis-pv.yaml 

 

、创建configmap

将Redis的配置文件转化为Configmap,这是一种更方便的配置读取方式。配置文件redis.conf如下

#redis配置,本地直接创建
[root@k8s-master1 redis]# cat redis.conf 
appendonly yes
cluster-enabled yes
cluster-config-file /var/lib/redis/nodes.conf
cluster-node-timeout 5000
dir /var/lib/redis
port 6379
#创建configmap
[root@k8s-master1 redis]# kubectl create configmap redis-conf --from-file=redis.conf -n my-ns-redis 
#查询configmap信息
[root@k8s-master1 redis]# kubectl get cm -n my-ns-redis 
NAME         DATA   AGE
redis-conf   1      17h
[root@k8s-master1 redis]# kubectl describe cm -n my-ns-redis redis-conf 
Name:         redis-conf
Namespace:    my-ns-redis
Labels:       <none>
Annotations:  <none>

Data
====
redis.conf:
----
appendonly yes
cluster-enabled yes
cluster-config-file /var/lib/redis/nodes.conf
cluster-node-timeout 5000
dir /var/lib/redis
port 6379

Events:  <none>

 

五、创建headless service

Headless service是StatefulSet实现稳定网络标识的基础,我们需要提前创建

[root@k8s-master1 redis]# cat headless-service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: redis-service
  namespace: my-ns-redis
  labels:
    app: redis
spec:
  ports:
  - name: redis-port
    port: 6379
  clusterIP: None
  selector:
    app: redis

[root@k8s-master1 redis]# kubectl create -f headless-service.yaml 

 

六、通过StatefulSet创建redis集群节点 

 通过StatefulSet创建6个redis的pod ,实现3主3从的redis集群

[root@k8s-master1 redis]# cat redis-sts.yaml 
apiVersion: apps/v1
kind: StatefulSet   #StatefulSet类型
metadata:
  name: redis-app   #StatefulSet名称
  namespace: my-ns-redis   #使用的命名空间
spec:
  serviceName: "redis-service"   #引用上面创建的headless service,名字必须一致
  replicas: 6    #副本数
  selector:    #标签选择器
    matchLabels:
      app: redis   #选择redis标签
      appCluster: redis-cluster
  template:   #容器模板
    metadata:
      labels:
        app: redis   #容器标签:redis
        appCluster: redis-cluster
    spec:
      containers:
      - name: redis  #容器名字
        image: "redis:7.0.4"   #使用的镜像
        command: ["/bin/bash", "-ce", "tail -f /dev/null"]  
        command: ["redis-server"]
        args:
          - "/etc/redis/redis.conf"
          - "--protected-mode"
          - "no"
        ports:
            - name: redis
              containerPort: 6379
              protocol: "TCP"
            - name: cluster
              containerPort: 16379
              protocol: "TCP"
        volumeMounts:            #挂载卷
          - name: "redis-conf"   #自定义挂载卷1的名称
            mountPath: "/etc/redis"  #挂载的路径,这个是redis容器里面的路径
          - name: "redis-data"    #自定义挂载卷2的名称
            mountPath: "/var/lib/redis"   #挂载的路径
      volumes:
      - name: "redis-conf"   #引用挂载,名字要和上面自定义的一致,否则无法对应挂载
        configMap:  #使用的存储类型
          name: "redis-conf"   #引用之前创建的configMap存储,名字要和之前创建使用的名字一致
          items:   #可以不写
            - key: "redis.conf"
              path: "redis.conf"   #这个就表示mountPath: "/etc/redis"+path: "redis.conf" ,最终:/etc/redis/redis.conf
  volumeClaimTemplates:   #创建pvc的模板,我们没有单独创建pvc,直接使用模板创建
  - metadata:
      name: redis-data   #引用上面自定义的挂载卷2的名称,必须一致
    spec:  #元数据
      accessModes: [ "ReadWriteMany" ]  #必须和前面创建的pv的保持一致,否则pv,pvc可能绑定失败
      storageClassName: "redis"  #必须和前面创建的pv的保持一致
      resources:
        requests:
          storage: 1Gi  #需求的存储大小,小于等于pv的存储
#使用yaml文件创建
[root@k8s-master1 redis]# kubectl create -f redis-sts.yaml


#查询
[root@k8s-master1 redis]# kubectl get all -n my-ns-redis 
NAME              READY   STATUS    RESTARTS   AGE
pod/redis-app-0   1/1     Running   0          64m
pod/redis-app-1   1/1     Running   1          16h
pod/redis-app-2   1/1     Running   1          16h
pod/redis-app-3   1/1     Running   1          16h
pod/redis-app-4   1/1     Running   1          16h
pod/redis-app-5   1/1     Running   1          16h

NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
service/redis-service   ClusterIP   None             <none>        6379/TCP         17h

NAME                         READY   AGE
statefulset.apps/redis-app   6/6     16h

#pv,pvc均已成功绑定
[root@k8s-master1 redis]# kubectl get pv,pvc -n my-ns-redis 
NAME                         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                                STORAGECLASS   REASON   AGE                                      6d18h
persistentvolume/redis-pv1   2Gi        RWX            Retain           Bound       my-ns-redis/redis-data-redis-app-3   redis                   17h
persistentvolume/redis-pv2   2Gi        RWX            Retain           Bound       my-ns-redis/redis-data-redis-app-5   redis                   17h
persistentvolume/redis-pv3   2Gi        RWX            Retain           Bound       my-ns-redis/redis-data-redis-app-2   redis                   17h
persistentvolume/redis-pv4   2Gi        RWX            Retain           Bound       my-ns-redis/redis-data-redis-app-0   redis                   17h
persistentvolume/redis-pv5   2Gi        RWX            Retain           Bound       my-ns-redis/redis-data-redis-app-1   redis                   17h
persistentvolume/redis-pv6   2Gi        RWX            Retain           Bound       my-ns-redis/redis-data-redis-app-4   redis                   17h

NAME                                           STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/redis-data-redis-app-0   Bound    redis-pv4   2Gi        RWX            redis          16h
persistentvolumeclaim/redis-data-redis-app-1   Bound    redis-pv5   2Gi        RWX            redis          16h
persistentvolumeclaim/redis-data-redis-app-2   Bound    redis-pv3   2Gi        RWX            redis          16h
persistentvolumeclaim/redis-data-redis-app-3   Bound    redis-pv1   2Gi        RWX            redis          16h
persistentvolumeclaim/redis-data-redis-app-4   Bound    redis-pv6   2Gi        RWX            redis          16h
persistentvolumeclaim/redis-data-redis-app-5   Bound    redis-pv2   2Gi        RWX            redis          16h

 

七、初始化集群 

#进入其中一个容器
[root@k8s-master1 ~]# kubectl exec -it -n my-ns-redis redis-app-0 /bin/bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
root@redis-app-0:/data# 
#查询集群信息,可以看到cluster_state:fail失败,cluster_known_nodes:1节点数只有一个
root@redis-app-0:/data# redis-cli -c
127.0.0.1:6379> CLUSTER INFO
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:1
cluster_size:0
cluster_current_epoch:0
cluster_my_epoch:0
cluster_stats_messages_sent:0
cluster_stats_messages_received:0
total_cluster_links_buffer_limit_exceeded:0
127.0.0.1:6379>
127.0.0.1:6379> exit
#初始化集群,ip,端口为对应pod端口
root@redis-app-0:/data# redis-cli --cluster create 10.244.1.159:6379 10.244.2.136:6379 10.244.1.158:6379 10.244.2.139:6379 10.244.1.160:6379 10.244.1.157:6379  --cluster-replicas 1
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 10.244.1.160:6379 to 10.244.1.159:6379
Adding replica 10.244.1.157:6379 to 10.244.2.136:6379
Adding replica 10.244.2.139:6379 to 10.244.1.158:6379
M: d97f5acc6a803cc5ae1a0fd9a405e4cbc49cb72b 10.244.1.159:6379
   slots:[0-5460] (5461 slots) master
M: d52754f0c6d7774430a4bb2e3abc05111421e854 10.244.2.136:6379
   slots:[5461-10922] (5462 slots) master
M: fc2e51c0afc9f8b4440e652c366033ce277f9809 10.244.1.158:6379
   slots:[10923-16383] (5461 slots) master
S: e645ed14a194b8e8d7b11d6e65035f14451010b6 10.244.2.139:6379
   replicates fc2e51c0afc9f8b4440e652c366033ce277f9809
S: 8d0bdcdf5af3d8b1ce751b7a68e5261ac514e0bc 10.244.1.160:6379
   replicates d97f5acc6a803cc5ae1a0fd9a405e4cbc49cb72b
S: de6607e6972983f38a9b66f7bfbac1e9eb112c63 10.244.1.157:6379
   replicates d52754f0c6d7774430a4bb2e3abc05111421e854
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
....
>>> Performing Cluster Check (using node 10.244.1.159:6379)
M: d97f5acc6a803cc5ae1a0fd9a405e4cbc49cb72b 10.244.1.159:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: e645ed14a194b8e8d7b11d6e65035f14451010b6 10.244.2.139:6379
   slots: (0 slots) slave
   replicates fc2e51c0afc9f8b4440e652c366033ce277f9809
S: 8d0bdcdf5af3d8b1ce751b7a68e5261ac514e0bc 10.244.1.160:6379
   slots: (0 slots) slave
   replicates d97f5acc6a803cc5ae1a0fd9a405e4cbc49cb72b
M: d52754f0c6d7774430a4bb2e3abc05111421e854 10.244.2.136:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: de6607e6972983f38a9b66f7bfbac1e9eb112c63 10.244.1.157:6379
   slots: (0 slots) slave
   replicates d52754f0c6d7774430a4bb2e3abc05111421e854
M: fc2e51c0afc9f8b4440e652c366033ce277f9809 10.244.1.158:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
#至此初始化集群成功

#重新进入redis集群
root@redis-app-0:/data# redis-cli -c
#查询集群信息,集群状态ok:cluster_state:ok;集群节点数6:cluster_known_nodes:6
127.0.0.1:6379> CLUSTER INFO
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:94
cluster_stats_messages_pong_sent:94
cluster_stats_messages_sent:188
cluster_stats_messages_ping_received:89
cluster_stats_messages_pong_received:94
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:188
total_cluster_links_buffer_limit_exceeded:0
#目前使用的主节点在10.244.1.158
127.0.0.1:6379> get a
-> Redirected to slot [15495] located at 10.244.1.158:6379
(nil)
#至此redis集群部署完成

 

8、主从测试

删除一个pod:redis-app-0,k8s会自动重建一个名称为:redis-app-0 的pod,名字始终保持不变,检查集群信息集群状态ok:cluster_state:ok;集群节点数6:cluster_known_nodes:6

有关k8s采用StatefulSet部署redis三主三从集群并初始化集群的更多相关文章

  1. ruby-on-rails - 未初始化的常量 Psych::Syck (NameError) - 2

    在我的gem中,我需要yaml并且在我的本地计算机上运行良好。但是在将我的gem推送到ruby​​gems.org之后,当我尝试使用我的gem时,我收到一条错误消息=>"uninitializedconstantPsych::Syck(NameError)"谁能帮我解决这个问题?附言RubyVersion=>ruby1.9.2,GemVersion=>1.6.2,Bundlerversion=>1.0.15 最佳答案 经过几个小时的研究,我发现=>“YAML使用未维护的Syck库,而Psych使用现代的LibYAML”因此,为了解决

  2. ruby-on-rails - 未在 Ruby 中初始化的对象 - 2

    我在Rails工作并有以下类(class):classPlayer当我运行时bundleexecrailsconsole然后尝试:a=Player.new("me",5.0,"UCLA")我回来了:=>#我不知道为什么Player对象不会在这里初始化。关于可能导致此问题的操作/解释的任何建议?谢谢,马里奥格 最佳答案 havenoideawhythePlayerobjectwouldn'tbeinitializedhere它没有初始化很简单,因为你还没有初始化它!您已经覆盖了ActiveRecord::Base初始化方法,但您没有调

  3. ruby-on-rails - 每次我尝试部署时,我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2

    我是Google云的新手,我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目,而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie

  4. ruby-on-rails - ActionController::RoutingError: 未初始化常量 Api::V1::ApiController - 2

    我有用于控制用户任务的Rails5API项目,我有以下错误,但并非总是针对相同的Controller和路由。ActionController::RoutingError:uninitializedconstantApi::V1::ApiController我向您描述了一些我的项目,以更详细地解释错误。应用结构路线scopemodule:'api'donamespace:v1do#=>Loginroutesscopemodule:'login'domatch'login',to:'sessions#login',as:'login',via::postend#=>Teamroutessc

  5. ruby - 这两个 Ruby 类初始化定义有什么区别? - 2

    我正在阅读一本关于Ruby的书,作者在编写类初始化定义时使用的形式与他在本书前几节中使用的形式略有不同。它看起来像这样:classTicketattr_accessor:venue,:datedefinitialize(venue,date)self.venue=venueself.date=dateendend在本书的前几节中,它的定义如下:classTicketattr_accessor:venue,:datedefinitialize(venue,date)@venue=venue@date=dateendend在第一个示例中使用setter方法与在第二个示例中使用实例变量之间是

  6. ruby-on-rails - Ruby on Rails 可以部署在 Azure 网站上吗? - 2

    我可以在Azure网站上部署RubyonRails吗? 最佳答案 还没有。目前仅支持.NET和PHP。 关于ruby-on-rails-RubyonRails可以部署在Azure网站上吗?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/12964010/

  7. jenkins部署1--jenkins+gitee持续集成 - 2

    前置步骤我们都操作完了,这篇开始介绍jenkins的集成。话不多说,看操作1、登录进入jenkins后会让你选择安装插件,选择第一个默认的就行。安装完成后设置账号密码,重新登录。2、配置JDK和Git都需要执行路径,所以需要先把执行路径找到,先进入服务器的docker容器,2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击:ManageJenkins>>GlobalToolCon

  8. 深度学习部署:Windows安装pycocotools报错解决方法 - 2

    深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  9. ruby - 为什么当我调用类的实例方法时,初始化不显示为方法? - 2

    我正在写一篇关于在Ruby中几乎一切都是对象的博客文章,我试图通过以下示例来展示这一点:classCoolBeansattr_accessor:beansdefinitialize@bean=[]enddefcount_beans@beans.countendend所以从类中我们可以看出它有4个方法(当然,除非我错了):它可以在创建新实例时初始化一个默认的空bean数组它可以计算它有多少个bean它可以读取它有多少个bean(通过attr_accessor)它可以向空数组写入(或添加)更多bean(也通过attr_accessor)但是,当我询问类本身它有哪些实例方法时,我没有看到默认

  10. ruby-on-rails - 为什么在 Rails 5.1.1 中删除了 session 存储初始化程序 - 2

    我去了这个website查看Rails5.0.0和Rails5.1.1之间的区别为什么5.1.1不再包含:config/initializers/session_store.rb?谢谢 最佳答案 这是删除它的提交:Setupdefaultsessionstoreinternally,nolongerthroughanapplicationinitializer总而言之,新应用没有该初始化器,session存储默认设置为cookie存储。即与在该初始值设定项的生成版本中指定的值相同。 关于

随机推荐