Docker安装部署Redis集群

北冥牧之 2023-05-25 原文

概述

本篇文章介绍一下通过Docker安装部署Redis集群。

基于CentOS8、yum源安装，集群采用3主6从的模式。从节点我们介绍两种方式，一种是随机的从节点，一种是指定从节点的方式。

如果是3主6从的模式的集群，也就是在3台服务器上，分别部署1个主节点和2个从节点。如果我们是指定从节点的话，我们的一个集群中的从节点不能和主节点在一台服务器上，这样可以避免一台主机宕机导致的集群整体宕掉后数据丢失问题。虽然可以重启机器，Redis集群做持久化进行回复，但是还是会导致短暂的不可用的情况。因为创建好Redis集群之后，每个Redis的key的对应的哈希槽其实是已经固定到每一个主节点上了，如果这个集群的主节点和从节点在一台机器上，那就会导致，这一部分哈希槽所对应的整个集群不可用。

所以，我们要将这类部署方式的从节点放置到另外2台机器上。

我们这里有三个主机，我们称之为redis01、redis02、redis03。

redis01放一个主节点，2个从节点分别放到redis02、redis03。

redis02放一个主节点，2个从节点分别放到redis03、redis01。

redis03放一个主节点，2个从节点分别放到redis01、redis02。

这样的话，即使一台主机宕掉，最终影响的也只是3个集群中对应的一个节点，因为我们每个集群是1主2从，那么如果宕掉的是从节点，不影响原来集群；如果是主节点，那么它还有2个从节点，从节点进行选举会有一个从节点晋升为主节点。

我们最后将要创建9台Redis实例，自定义Redis集群实例的要求如下：

	主节点	从节点
第一个集群	192.168.222.100:6380	192.168.222.103:6381
		192.168.222.104:6382
第二个集群	192.168.222.103:6380	192.168.222.104:6381
		192.168.222.100:6382
第三个集群	192.168.222.104:6380	192.168.222.100:6381
		192.168.222.103:6382

一、创建文件和目录

创建单个Redis可以参考我的另外一篇文章：

Docker以标准方式安装部署Redis

1.1 创建需要挂载的文件和目录

在redis01主机上我们创建需要的文件和目录

mkdir -p /usr/local/redis-cluster/master-6380/{data,conf}
vim /usr/local/redis-cluster/master-6380/conf/redis.conf

在redis.conf文件中输入内容：

appendonly yes

appendfilename "appendonly.aof"

master-6380这个节点操作完毕，我们还需要在 slave-6381和slave-6382节点上创建：

mkdir -p /usr/local/redis-cluster/slave-6381/{data,conf}
vim /usr/local/redis-clusterslave-6381/conf/redis.conf


mkdir -p /usr/local/redis-cluster/slave-6382/{data,conf}
vim /usr/local/redis-clusterslave-6382/conf/redis.conf

1.2 同步操作

我们可以重复1.1的操作，也可以通过scp命令方式将目录和文件上传到另外的两台主机。关于scp命令，可以参考我的另一篇文章：

Linux命令：scp

scp -r /usr/local/redis-cluster/master-6380 /root@k8s-master01:/usr/local/redis-cluster/master-6380/

注意：

我这里的主机名并非是redis01、redis02、redis03，请注意。

然后接着将整个目录下的data和conf目录都复制到其他2个主机的对应节点上：

scp -r /usr/local/redis-cluster/master-6380 /root@k8s-master01:/usr/local/redis-cluster/slave-6381/

scp -r /usr/local/redis-cluster/master-6380 /root@k8s-master01:/usr/local/redis-cluster/slave-6382/

复制到另一个节点上要执行三个操作：

scp -r /usr/local/redis-cluster/master-6380 /root@k8s-node01:/usr/local/redis-cluster/master-6380/

scp -r /usr/local/redis-cluster/master-6380 /root@k8s-node01:/usr/local/redis-cluster/slave-6381/

scp -r /usr/local/redis-cluster/master-6380 /root@k8s-node01:/usr/local/redis-cluster/slave-6382/

注意：

每输入一个命令都要输入对应的远程主机的密码。

二、随机从节点模式

2.1 创建master节点的redis容器

docker run --name redis-6380 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/master-6380/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/master-6380/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6380.conf --port 6380

2.2 在同一台机器上创建另外2个节点

docker run --name redis-6381 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/slave-6381/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/slave-6381/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6381.conf --port 6381

docker run --name redis-6382 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/slave-6382/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/slave-6382/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6382.conf --port 6382

最终的集群节点配置文件：redis-6382.conf会在对应的data目录下生成，不管是宿主机还是容器内都有。

2.3 其他2台机器同步操作

在另外2台机器上分别执行上面的命令。

# master节点
docker run --name redis-6380 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/master-6380/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/master-6380/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6380.conf --port 6380



# slave节点
docker run --name redis-6381 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/slave-6381/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/slave-6381/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6381.conf --port 6381



# slave节点
docker run --name redis-6382 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/slave-6382/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/slave-6382/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6382.conf --port 6382

这个时候我们虽然说有master节点和slave节点，但是实际上它们都还不是，这只是我们最终要的结果而已。因为我们还没有进行集群的主从配置。

2.4 配置主从集群

2.4.1 进入任意一个 Redis 实例

docker exec -it redis-6380 bash

我们这里选择了redis01的redis-6380节点。

2.4.2 配置集群

redis-cli --cluster create 192.168.222.100:6380 192.168.222.103:6380 192.168.222.104:6380 192.168.222.100:6381 192.168.222.103:6381 192.168.222.104:6381 192.168.222.100:6382 192.168.222.103:6382 192.168.222.104:6382  --cluster-replicas 2

中间会弹出一句话：

Can I set the above configuration? (type 'yes' to accept):

这句话的意思是：是否可以设置以上的配置，我们输入yes即可。

至此，集群已经搭建好了。

2.4.3 查看集群节点信息

我们输入一下命令进行连接：

redis-cli -h 192.168.222.100 -p 6380

查看集群节点信息：

cluster nodes

从上图可以看到，我们直接使用redis-cli命令是无法连接的。因为我们没有配置redis的ip绑定。那么我们可以指定具体的redis实例的ip和端口进行连接。

集群信息中也看到了3主3从的集群信息。

由此我们可以得出结论：

redis-cli --cluster create创建的Redis集群前面几个ip:端口，必然是主节点的；

后面的从节点隶属于哪个主节点是随机分配的。

创建集群的命令中的参数：

--cluster-replicas 2

代表着1个主节点对应2个从节点（3个主节点，3*2=6个从节点）
如果是1:1的关系，此时就应该是1
如果没有从节点（从节点后面再添加），此时就是0。

上面我们连接Redis实例的时候，并未使用集群模式，导致我们设置key的时候会报错的：

那这该怎么办呢？

我们只需要在连接Redis实例的时候采用集群模式即可，即加上-c参数即可：

redis-cli -c -h 192.168.222.100 -p 6380

三、自定义从节点模式

上面我们也看到了，从节点是随机分配的。可是如果我们想让从节点按照我们的要求进行分配，又该如何操作呢？

3.1 删除所有Redis容器

docker stop redis-6380 redis-6381 redis-6382

docker rm redis-6380 redis-6381 redis-6382

三个集群的机器都执行以上命令。

3.2 删除data目录下的文件

rm -rf /usr/local/redis-cluster/master-6380/data/*
rm -rf /usr/local/redis-cluster/slave-6381/data/*
rm -rf /usr/local/redis-cluster/slave-6382/data/*

三个集群的机器都执行以上命令。

3.3 创建Redis容器

# master节点
docker run --name redis-6380 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/master-6380/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/master-6380/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6380.conf --port 6380



# slave节点
docker run --name redis-6381 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/slave-6381/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/slave-6381/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6381.conf --port 6381



# slave节点
docker run --name redis-6382 -d --net host --restart=always --privileged=true \
-v /usr/local/redis-cluster/slave-6382/conf/redis.conf:/etc/redis/redis.conf \
-v /usr/local/redis-cluster/slave-6382/data:/data \
redis:latest --cluster-enabled yes --cluster-config-file redis-6382.conf --port 6382

分别在三台机器上执行。

3.4 创建三个主节点

3.4.1 进入容器

找一个将要创建主节点的机器进入容器

docker exec -it redis-6380 bash

3.4.2 创建集群

创建三台都是主节点的集群

redis-cli --cluster create 192.168.222.100:6380 192.168.222.103:6380 192.168.222.104:6380 --cluster-replicas 0

如果报错：

[ERR] Node 192.168.222.100:6380 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

那就删除100:6380上所有Redis容器，同时删除data目录下的文件，重新创建三台Redis容器，然后再执行3.4.2的创建集群命令即可。

3.5 添加从节点

redis-cli --cluster add-node 192.168.222.103:6381 192.168.222.100:6380 --cluster-slave --cluster-master-id 8a80f0c04d4e64cc0b93442bbe3d9ea98cfc143f
redis-cli --cluster add-node 192.168.222.104:6382 192.168.222.100:6380 --cluster-slave --cluster-master-id 8a80f0c04d4e64cc0b93442bbe3d9ea98cfc143f

redis-cli --cluster add-node 192.168.222.104:6381 192.168.222.103:6380 --cluster-slave --cluster-master-id b207b38198cfdec7c39ea911cc979f6ad6da4921
redis-cli --cluster add-node 192.168.222.100:6382 192.168.222.103:6380 --cluster-slave --cluster-master-id b207b38198cfdec7c39ea911cc979f6ad6da4921

redis-cli --cluster add-node 192.168.222.100:6381 192.168.222.104:6380 --cluster-slave --cluster-master-id e97d76cab8f2bb064c7a8fbb05ea370e8da9a1a3
redis-cli --cluster add-node 192.168.222.103:6382 192.168.222.104:6380 --cluster-slave --cluster-master-id e97d76cab8f2bb064c7a8fbb05ea370e8da9a1a3

8a80f0c04d4e64cc0b93442bbe3d9ea98cfc143f是100:6380主节点的id
b207b38198cfdec7c39ea911cc979f6ad6da4921是103:6380的主节点的id
e97d76cab8f2bb064c7a8fbb05ea370e8da9a1a3是104:6380的主节点的id

上面的命令是将指定的Redis实例6381和6382指定给6380的集群主节点。

3.6 查看集群信息

3.6.1 进入容器连接redis

# 进入Redis容器
docker exec -it redis-6380 bash

# 连接Redis
redis-cli -c -h 192.168.222.100 -p 6380

3.6.2 查看集群信息

cluster nodes

e97d76cab8f2bb064c7a8fbb05ea370e8da9a1a3 192.168.222.104:6380@16380 master - 0 1670165527000 3 connected 10923-16383
1d30cce460a4003d993ebc4b07843326c6433726 192.168.222.104:6381@16381 slave b207b38198cfdec7c39ea911cc979f6ad6da4921 0 1670165529000 2 connected
94b84b5ec5b055a5352588b3837e00052aaaea81 192.168.222.104:6382@16382 slave e97d76cab8f2bb064c7a8fbb05ea370e8da9a1a3 0 1670165526000 3 connected
b207b38198cfdec7c39ea911cc979f6ad6da4921 192.168.222.103:6380@16380 master - 0 1670165527000 2 connected 5461-10922
8a80f0c04d4e64cc0b93442bbe3d9ea98cfc143f 192.168.222.100:6380@16380 myself,master - 0 1670165529000 1 connected 0-5460
8e2b5329688fec6ee8bac26458ef0f0c9b93ce2a 192.168.222.100:6381@16381 slave e97d76cab8f2bb064c7a8fbb05ea370e8da9a1a3 0 1670165529000 3 connected
7a68beb5ba8a7efaeff9894c9589486a0ba357cc 192.168.222.100:6382@16382 slave b207b38198cfdec7c39ea911cc979f6ad6da4921 0 1670165529525 2 connected
f29bd4b1ee68edb6904686f2af93d0a30cd894b8 192.168.222.103:6382@16382 slave e97d76cab8f2bb064c7a8fbb05ea370e8da9a1a3 0 1670165530535 3 connected
b26b32e21baf0582ab5f16cca7a93d2359bdd031 192.168.222.103:6381@16381 slave 8a80f0c04d4e64cc0b93442bbe3d9ea98cfc143f 0 1670165528000 1 connected

可以看到这个基本是符合我们指定的主从关系的，除了100:6380的从节点有错误。这个是因为我们再执行创建集群之前误操作了一个命令。其实我们的命令是成功的。

最终的关系如下：

	主节点	从节点
第一个集群	192.168.222.100:6380	192.168.222.103:6381
		192.168.222.104:6382
第二个集群	192.168.222.103:6380	192.168.222.104:6381
		192.168.222.100:6382
第三个集群	192.168.222.104:6380	192.168.222.100:6381
		192.168.222.103:6382

至此，我们创建通过Docker创建Redis集群的两种模式已经都成功了。

有关Docker安装部署Redis集群的更多相关文章

ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
ruby - 完全离线安装RVM - 2
我打算为ruby脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn
ruby-on-rails - rails 目前在重启后没有安装 - 2
我有一个奇怪的问题:我在rvm上安装了rubyonrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(
ruby - 如何为 emacs 安装 ruby-mode - 2
我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby提供代码提示、代码完成类型功能所需的工具、扩展是什么？最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs
ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2
我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e
ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2
我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121
ruby - Fast-stemmer 安装问题 - 2
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=
ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2
我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie
ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2
当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub