192.168.254.128 192.168.254.129 192.168.254.127 注意事项 安裝 GCC 编译工具 不然会有编译不过的问题 yum install -y gcc g++ gcc-c++ make 升级所有的包,防止出现版本过久不兼容问题 yum -y update
环境准备 安装ruby;
关闭防火墙 节点之前需要开放指定端口,为了方便,生产不要禁用 centos 6.x service iptables stop # 关闭命令: centos 7.x systemctl stop firewalld.service # 停止firewall
集群搭建 首先在每台服务器上分别搭建redis及配置 安装 Redis 下载,解压,编译安装 cd /opt wget http://download.redis.io/releases/redis-4.0.10.tar.gz tar xzf redis-4.0.10.tar.gz cd redis-4.0.10 make 如果因为上次编译失败,有残留的文件 make distclean
创建节点 分别在每台服务器上 创建集群目录 cd /usr/local/ mkdir redis-cluster
在每台 redis-cluster 目录下 cd redis-cluster/ 分别在每台服务器上创建 192.168.254.128 mkdir 6000 6001 6002
192.168.254.129 mkdir 6003 6004 6005
192.168.254.127 mkdir 6006 6007 6008 分别修改每台服务器上的三个配置文件,把如下redis.conf 配置内容粘贴进去 192.168.254.128 vi 6000/redis.conf vi 6001/redis.conf vi 6002/redis.conf
192.168.254.129 vi 6003/redis.conf vi 6004/redis.conf vi 6005/redis.conf
192.168.254.127 vi 6006/redis.conf vi 6007/redis.conf vi 6008/redis.conf
分别在每台服务器上配置相应的配置
redis.conf 配置说明
#端口 6000 6001 6002
port 6000
#默认ip为127.0.0.1,需要改为其他节点机器可访问的ip,否则创建集群时无法访问对应的端口,无法创建集群
bind 192.168.254.128
#redis后台运行
daemonize yes
#pidfile文件对应6000,6001,6002
pidfile /var/run/redis_6000.pid
#开启集群,把注释#去掉
cluster-enabled yes
#集群的配置,配置文件首次启动自动生成 6000,6001,6002
cluster-config-file nodes_6000.conf
#请求超时,默认15秒,可自行设置
cluster-node-timeout 10100
#aof日志开启,有需要就开启,它会每次写操作都记录一条日志
appendonly yes
接着在另外两台机器上(192.168.254.129;192.168.254.127)重复以上三步,只是把目录改为6003、6004、6005;6006、6007、008对应的配置文件也按照这个规则修改即可
#第一台机器上执行 3个节点 for((i=0;i<=2;i++)); do /opt/redis-4.0.10/src/redis-server /usr/local/redis-cluster/600$i/redis.conf; done 第二台机器上执行 3个节点 for((i=3;i<=5;i++)); do /opt/redis-4.0.10/src/redis-server /usr/local/redis-cluster/600$i/redis.conf; done 第三台机器上执行 3个节点 for((i=6;i<=8;i++)); do /opt/redis-4.0.10/src/redis-server /usr/local/redis-cluster/600$i/redis.conf; done
检查服务 检查各 Redis 各个节点启动情况 ps -ef | grep redis //redis是否启动成功 netstat -tnlp | grep redis //监听redis端口
安装ruby 在刚安装好的redis服务器上安装ruby 因为创建集群时需要用Ruby 运行redis-trib.rb yum -y install ruby ruby-devel rubygems rpm-build
gem install redis 这个自动安装不了 只能把它下载下来,手工安装 wget http://rubygems.global.ssl.fastly.net/gems/redis-4.0.1.gem gem install -l ./redis-4.0.1.gem
/opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 192.168.254.128:6000 192.168.254.128:6001 192.168.254.128:6002 192.168.254.129:6003 192.168.254.129:6004 192.168.254.129:6005 192.168.254.127:6006 192.168.254.127:6007 192.168.254.127:6008
Creating cluster Performing hash slots allocation on 9 nodes... Using 4 masters: 192.168.254.128:6000 192.168.254.129:6003 192.168.254.127:6006 192.168.254.128:6001 Adding replica 192.168.254.127:6007 to 192.168.254.128:6000 Adding replica 192.168.254.128:6002 to 192.168.254.129:6003 Adding replica 192.168.254.129:6005 to 192.168.254.127:6006 Adding replica 192.168.254.127:6008 to 192.168.254.128:6001 Adding replica 192.168.254.129:6004 to 192.168.254.128:6000 M: a4652ca08fd832def811f585ac14a3367364b6bc 192.168.254.128:6000 slots:0-4095 (4096 slots) master M: 6275ac1e805e1d54281b66a7d49d64d2b0e802da 192.168.254.128:6001 slots:12288-16383 (4096 slots) master S: 84a752afcb6fda24df7a2fa220d38170daac5976 192.168.254.128:6002 replicates d9228859beb0180ab6ff198a1819088d401f936a M: d9228859beb0180ab6ff198a1819088d401f936a 192.168.254.129:6003 slots:4096-8191 (4096 slots) master S: 4fc65bf3c4747d767fa56b357891d4062b310f52 192.168.254.129:6004 replicates a4652ca08fd832def811f585ac14a3367364b6bc S: ea51fa38217674f51a968b341732d77eabe7561d 192.168.254.129:6005 replicates b14eddc61b984089360713932cd16bd114f3aff4 M: b14eddc61b984089360713932cd16bd114f3aff4 192.168.254.127:6006 slots:8192-12287 (4096 slots) master S: 84645ac8b50a4f199b413a290835f363c2c17cd8 192.168.254.127:6007 replicates a4652ca08fd832def811f585ac14a3367364b6bc S: 172be3915c71f16302fa3ce8219af024f950f0e5 192.168.254.127:6008 replicates 6275ac1e805e1d54281b66a7d49d64d2b0e802da Can I set the above configuration? (type 'yes' to accept): yes
Nodes configuration updated Assign a different config epoch to each node Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join........
Performing Cluster Check (using node 192.168.254.128:6000) M: a4652ca08fd832def811f585ac14a3367364b6bc 192.168.254.128:6000 slots:0-4095 (4096 slots) master 2 additional replica(s) S: ea51fa38217674f51a968b341732d77eabe7561d 192.168.254.129:6005 slots: (0 slots) slave replicates b14eddc61b984089360713932cd16bd114f3aff4 S: 172be3915c71f16302fa3ce8219af024f950f0e5 192.168.254.127:6008 slots: (0 slots) slave replicates 6275ac1e805e1d54281b66a7d49d64d2b0e802da S: 84645ac8b50a4f199b413a290835f363c2c17cd8 192.168.254.127:6007 slots: (0 slots) slave replicates a4652ca08fd832def811f585ac14a3367364b6bc S: 4fc65bf3c4747d767fa56b357891d4062b310f52 192.168.254.129:6004 slots: (0 slots) slave replicates a4652ca08fd832def811f585ac14a3367364b6bc M: d9228859beb0180ab6ff198a1819088d401f936a 192.168.254.129:6003 slots:4096-8191 (4096 slots) master 1 additional replica(s) M: 6275ac1e805e1d54281b66a7d49d64d2b0e802da 192.168.254.128:6001 slots:12288-16383 (4096 slots) master 1 additional replica(s) S: 84a752afcb6fda24df7a2fa220d38170daac5976 192.168.254.128:6002 slots: (0 slots) slave replicates d9228859beb0180ab6ff198a1819088d401f936a M: b14eddc61b984089360713932cd16bd114f3aff4 192.168.254.127:6006 slots:8192-12287 (4096 slots) master 1 additional replica(s) [OK] All nodes agree about slots configuration.
Check for open slots... Check slots coverage... [OK] All 16384 slots covered. 简单解释一下这个命令:调用 ruby 命令来进行创建集群,--replicas 1 表示主从复制比例为 1:1,即一个主节点对应一个从节点;然后,默认给我们分配好了每个主节点和对应从节点服务,以及 solt 的大小,因为在 Redis 集群中有且仅有 4096 个 solt ,默认情况会给我们平均分配,当然你可以指定,后续的增减节点也可以重新分配。 M: 代表为 主节点Id S: 代表为 从节点下对应主节点Id 目前来看,6000-6003 为主节点,6004-6008 为从节点,并向你确认是否同意这么配置。输入 yes 后,会开始集群创建。 [root@worker1 ~]# ps -ef|grep redis root 17107 1 0 15:49 ? 00:00:24 /opt/redis-4.0.10/src/redis-server 192.168.254.128:6000 [cluster] root 17112 1 0 15:49 ? 00:00:24 /opt/redis-4.0.10/src/redis-server 192.168.254.128:6001 [cluster] root 17114 1 0 15:49 ? 00:00:24 /opt/redis-4.0.10/src/redis-server 192.168.254.128:6002 [cluster] root 36435 16949 0 20:21 pts/0 00:00:00 grep --color=auto redis
关闭集群 这样也可以,推荐 $ pkill redis 循环节点逐个关闭 for((i=0;i<=2;i++)); do /opt/redis-4.0.10/src/redis-cli -c -h 192.168.254.128 -p 600$i shutdown; done for((i=3;i<=5;i++)); do /opt/redis-4.0.10/src/redis-cli -c -h 192.168.254.129 -p 600$i shutdown; done for((i=6;i<=8;i++)); do /opt/redis-4.0.10/src/redis-cli -c -h 192.168.254.127 -p 600$i shutdown; done 集群验证 连接集群测试 参数 -C 可连接到集群,因为 redis.conf 将 bind 改为了ip地址,所以 -h 参数不可以省略,-p 参数为端口号 /opt/redis-4.0.10/src/redis-cli -h 192.168.254.128 -c -p 6000 列出集群节点 列出集群当前已知的所有节点(node),以及这些节点的相关信息 192.168.254.128:6000> cluster nodes e9375cb5c6920d713e50e36e9e0350d1720065a5 192.168.254.127:6008@16008 slave ddf89a798f3822449d4c198828befce70b589276 0 1529558382436 9 connected 41d113c92e94ac1379c7e6c9cab600441c8d0fd7 192.168.254.129:6004@16004 slave 9e583acd4f9b870834f47ac3475f8f587768fa22 0 1529558380000 5 connected ddf89a798f3822449d4c198828befce70b589276 192.168.254.128:6001@16001 master - 0 1529558383065 2 connected 12288-16383 9e00bf0348f57321a9212f59dcf98b66fc269520 192.168.254.127:6006@16006 master - 0 1529558383000 7 connected 8192-12287 eeb8cf7d45f17b9d380f64506f7909db10bd75d9 192.168.254.129:6005@16005 slave 9e00bf0348f57321a9212f59dcf98b66fc269520 0 1529558383477 7 connected e008ffe319bbb591da6ccca2bad33ad0fe7c60f9 192.168.254.129:6003@16003 master - 0 1529558381306 4 connected 4096-8191 f55f51e79e18d3e14ad22dd8d9cd7b679c633281 192.168.254.127:6007@16007 slave 9e583acd4f9b870834f47ac3475f8f587768fa22 0 1529558383000 8 connected 9e583acd4f9b870834f47ac3475f8f587768fa22 192.168.254.128:6000@16000 myself,master - 0 1529558373000 1 connected 0-4095 7817787c0d12863cda2d6046e38ce88762c64cfb 192.168.254.128:6002@16002 slave e008ffe319bbb591da6ccca2bad33ad0fe7c60f9 0 1529558382333 4 connected 通过命令,可以详细的看出集群信息和各个节点状态,主从信息以及连接数、槽信息等。这么看到,我们已经真的把 Redis 集群搭建部署成功啦! 192.168.254.128:6000> set name myfly -> Redirected to slot [5798] located at 192.168.254.129:6003 OK 192.168.254.129:6003> get name "myfly" 192.168.254.129:6003> 我们在别的服务器上验证 192.168.254.129:6003> get name "myfly" 192.168.254.129:6003> 可以获取到说明集群可以用了 总结一下 这一篇 Redis 集群部署搭建的文章真的是一步一步的走下来的,只要你安装我的步骤来,就保证你能成功搭建一个 Redis 集群玩玩,也可以这么说,除了步骤繁琐外,几乎不存在技术含量,估计能看完的人都感觉累(说真的,写这种文章真的很累人)。 接下来可能就是动态扩容、增加节点和减少节点,重新分配槽大小等,当然,还有最重要的就是怎么和我们程序结合起来,以及如何更好的把 Redis 缓存集群发挥出应有的效果,这些才是最重要的。 集群命令 语法格式 redis-cli -c -p port 集群 cluster info :打印集群的信息 cluster nodes :列出集群当前已知的所有节点( node),以及这些节点的相关信息。 节点 cluster meet <ip> <port> :将 ip 和 port 所指定的节点添加到集群当中,让它成为集群的一份子。 cluster forget <node_id> :从集群中移除 node_id 指定的节点。 cluster replicate <node_id> :将当前节点设置为 node_id 指定的节点的从节点。 cluster saveconfig :将节点的配置文件保存到硬盘里面。 槽(slot) cluster addslots <slot> [slot ...] :将一个或多个槽( slot)指派( assign)给当前节点。 cluster delslots <slot> [slot ...] :移除一个或多个槽对当前节点的指派。 cluster flushslots :移除指派给当前节点的所有槽,让当前节点变成一个没有指派任何槽的节点。 cluster setslot <slot> node <node_id> :将槽 slot 指派给 node_id 指定的节点,如果槽已经指派给另一个节点,那么先让另一个节点删除该槽>,然后再进行指派。 cluster setslot <slot> migrating <node_id> :将本节点的槽 slot 迁移到 node_id 指定的节点中。 cluster setslot <slot> importing <node_id> :从 node_id 指定的节点中导入槽 slot 到本节点。 cluster setslot <slot> stable :取消对槽 slot 的导入( import)或者迁移( migrate)。 键 cluster keyslot <key> :计算键 key 应该被放置在哪个槽上。 cluster countkeysinslot <slot> :返回槽 slot 目前包含的键值对数量。 cluster getkeysinslot <slot> <count> :返回 count 个 slot 槽中的键 。