NoSQL数据库概述
NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。
NoSQL 不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。
- 不遵循SQL标准。
- 不支持ACID。
- 远超于SQL的性能。
NoSQL适用场景
- 对数据高并发的读写
- 海量数据的读写
- 对数据高可扩展性的
NoSQL不适用场景
- 需要事务支持
- 基于sql的结构化查询存储，处理复杂的关系,需要即席查询。
- （用不着sql的和用了sql也不行的情况，请考虑用NoSql）
目录
一、安装编译环境
1、编译环境
2、安装目录：/usr/local/bin
3、Redis启动【推荐】
①备份redis.conf
②后台启动设置daemonize no改成yes
③Redis启动
④用客户端访问：redis-cli
⑤多个端口可以：redis-cli -p6379
⑥Redis关闭
关于redis设置密码
redis关闭防火墙
4、简单介绍
5、一些基本的命令
二、Reais中常用五大数据类型
1、string类型-常用命令
string类型的数据结构
2、list类型-常用命令
常用命令
数据结构
3、set类型-常用命令
数据结构
4、hash-常用命令
常用命令
数据结构
5、Redis有序集合Zset(sorted set)
常用命令
数据结构
跳跃表（跳表）
三、Redis中新的数据类型
1、Bitmaps
1、setbit
2、getbit
3、bitcount
4、bitop
总结：
2、HyperLogLog
1、pfadd
2、pfcount
3、pfmerge
四、Redis_Jedis
1、在idea中使用jedis操作redis
2、简单实现一个功能
①生成验证码方法
②模拟发送验证码方法
③校验验证码是否正确
④测试
2、验证是否成功
五、SpringBoot整合Redis
1、引入依赖
2、编写application.yaml配置文件配置redis
3、配置类
一、安装编译环境
1、编译环境
如果没有C语言的编译环境，需要先安装
yum install centos-release-scl scl-utils-build
yum install -y devtoolset-8-toolchain
scl enable devtoolset-8 bash
测试 gcc版本
gcc --version
安装步骤
解压命令：tar -zxvf redis-6.2.1.tar.gz
解压完成后进入目录：cd redis-6.2.1
在redis-6.2.1目录下再次执行make命令（只是编译好）
注意：
如果没有准备好C语言编译环境，make 会报错—Jemalloc/jemalloc.h：没有那个文件
解决方案：运行make distclean
编译完成后在目录下继续执行: make install，若没有错误则安装成功
2、安装目录：/usr/local/bin
查看默认安装目录：
redis-benchmark:性能测试工具，可以在自己本子运行，看看自己本子性能如何
redis-check-aof：修复有问题的AOF文件，rdb和aof后面讲
redis-check-dump：修复有问题的dump.rdb文件
redis-sentinel：Redis集群使用
redis-server：Redis服务器启动命令
redis-cli：客户端，操作入口
3、Redis启动【推荐】
①备份redis.conf
拷贝一份redis.conf到其他目录
cp /opt/redis-3.2.5/redis.conf /myredis
②后台启动设置daemonize no改成yes
修改redis.conf(128行)文件将里面的daemonize no 改成 yes，让服务在后台启动
③Redis启动
redis-server/myredis/redis.conf
④用客户端访问：redis-cli
⑤多个端口可以：redis-cli -p6379
- 测试验证： ping
⑥Redis关闭
单实例关闭：redis-cli shutdown
也可以进入终端后再关闭
多实例关闭，指定端口关闭：redis-cli -p 6379 shutdown
关于redis设置密码
修改redis.conf文件中的requirepass字段为想要设置的密码
下面命令可查看用户状态
设置完密码后，下次操作redis需要输入以下命令获取权限
auth 密码
redis关闭防火墙
systemctl stop firewalld
只是暂时，重启会恢复
4、简单介绍
Redis是单线程+多路IO复用技术
多路复用是指使用一个线程来检查多个文件描述符（Socket）的就绪状态，比如调用select和poll函数，传入多个文件描述符，如果有一个文件描述符就绪，则返回，否则阻塞直到超时。得到就绪状态后进行真正的操作可以在同一个线程里执行，也可以启动线程执行（比如使用线程池）
串行 vs 多线程+锁（memcached） vs 单线程+多路IO复用(Redis)
（与Memcache三点不同: 支持多数据类型，支持持久化，单线程+多路IO复用）
5、一些基本的命令
keys *查看当前库所有key (匹配：keys *1)
exists key判断某个key是否存在
type key 查看你的key是什么类型
del key 删除指定的key数据
unlink key 根据value选择非阻塞删除
仅将keys从keyspace元数据中删除，真正的删除会在后续异步操作。
expire key 10 10秒钟：为给定的key设置过期时间
ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期
select命令切换数据库
dbsize查看当前数据库的key的数量
flushdb清空当前库
flushall通杀全部库
二、Reais中常用五大数据类型
此处可以或得常见命令http://www.redis.cn/commands.html
1、string类型-常用命令
set <key><value>添加键值对
*NX：当数据库中key不存在时，可以将key-value添加数据库
*XX：当数据库中key存在时，可以将key-value添加数据库，与NX参数互斥
*EX：key的超时秒数
*PX：key的超时毫秒数，与EX互斥
get <key>查询对应键值
append <key><value>将给定的<value> 追加到原值的末尾
strlen <key>获得值的长度
setnx <key><value>只有在 key 不存在时 设置 key 的值
incr <key>
将 key 中储存的数字值增1
只能对数字值操作，如果为空，新增值为1
decr <key>
将 key 中储存的数字值减1
只能对数字值操作，如果为空，新增值为-1
incrby / decrby <key><步长>将 key 中储存的数字值增减。自定义步长。
mset <key1><value1><key2><value2> .....
同时设置一个或多个 key-value对
mget <key1><key2><key3> .....
同时获取一个或多个 value
msetnx <key1><value1><key2><value2> .....
同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在。
原子性，有一个失败则都失败
getrange <key><起始位置><结束位置>
获得值的范围，类似java中的substring，前包，后包
setrange <key><起始位置><value>
用 <value> 覆写<key>所储存的字符串值，从<起始位置>开始(索引从0开始)。
setex <key><过期时间><value>
设置键值的同时，设置过期时间，单位秒。
getset <key><value>
以新换旧，设置了新值同时获得旧值。
string类型的数据结构
String的数据结构为简单动态字符串(Simple Dynamic String,缩写SDS)。是可以修改的字符串，内部结构实现上类似于Java的ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配.
如图中所示，内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有的空间，如果超过1M，扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。
2、list类型-常用命令
单键多值
Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）。
它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会较差。
常用命令
lpush/rpush <key><value1><value2><value3> .... 从左边/右边插入一个或多个值。
lpop/rpop <key>从左边/右边吐出一个值。值在键在，值光键亡。
rpoplpush <key1><key2>从<key1>列表右边吐出一个值，插到<key2>列表左边。
lrange <key><start><stop>
按照索引下标获得元素(从左到右)
lrange mylist 0 -1 0左边第一个，-1右边第一个，（0-1表示获取所有）
lindex <key><index>按照索引下标获得元素(从左到右)
llen <key>获得列表长度
linsert <key> before <value><newvalue>在<value>的后面插入<newvalue>插入值
lrem <key><n><value>从左边删除n个value(从左到右)
lset<key><index><value>将列表key下标为index的值替换成value
数据结构
List的数据结构为快速链表quickList。
首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是ziplist，也即是压缩列表。
它将所有的元素紧挨着一起存储，分配的是一块连续的内存。
当数据量比较多的时候才会改成quicklist。
因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如这个列表里存的只是int类型的数据，结构上还需要两个额外的指针prev和next。
Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。
3、set类型-常用命令
Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。
Redis的Set是string类型的无序集合。它底层其实是一个value为null的hash表，所以添加，删除，查找的复杂度都是O(1)。
一个算法，随着数据的增加，执行时间的长短，如果是O(1)，数据增加，查找数据的时间不变
常用命令
sadd <key><value1><value2> .....
将一个或多个 member 元素加入到集合 key 中，已经存在的 member 元素将被忽略
smembers <key>取出该集合的所有值。
sismember <key><value>判断集合<key>是否为含有该<value>值，有1，没有0
scard<key>返回该集合的元素个数。
srem <key><value1><value2> .... 删除集合中的某个元素。
spop <key>随机从该集合中吐出一个值。
srandmember <key><n>随机从该集合中取出n个值。不会从集合中删除 。
smove <source><destination>value把集合中一个值从一个集合移动到另一个集合
sinter <key1><key2>返回两个集合的交集元素。
sunion <key1><key2>返回两个集合的并集元素。
sdiff <key1><key2>返回两个集合的差集元素(key1中的，不包含key2中的)
数据结构
Set数据结构是dict字典，字典是用哈希表实现的。
Java中HashSet的内部实现使用的是HashMap，只不过所有的value都指向同一个对象。Redis的set结构也是一样，它的内部也使用hash结构，所有的value都指向同一个内部值。
4、hash-常用命令
Redis hash 是一个键值对集合。
Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。
类似Java里面的Map<String,Object>
用户ID为查找的key，存储的value用户对象包含姓名，年龄，生日等信息，如果用普通的key/value结构来存储
主要有以下2种存储方式：
每次修改用户的某个属性需要，先反序列化改好后再序列化回去。开销较大。 |
用户ID数据冗余 |
通过 key(用户ID) + field(属性标签) 就可以操作对应属性数据了，既不需要重复存储数据，也不会带来序列化和并发修改控制的问题 |
常用命令
hset <key><field><value>给<key>集合中的 <field>键赋值<value>
hget <key1><field>从<key1>集合<field>取出 value
hmset <key1><field1><value1><field2><value2>... 批量设置hash的值
hexists<key1><field>查看哈希表 key 中，给定域 field 是否存在。
hkeys <key>列出该hash集合的所有field
hvals <key>列出该hash集合的所有value
hincrby <key><field><increment>为哈希表 key 中的域 field 的值加上增量 1 -1
hsetnx <key><field><value>将哈希表 key 中的域 field 的值设置为 value ，当且仅当域 field 不存在 .
数据结构
Hash类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。当field-value长度较短且个数较少时，使用ziplist，否则使用hashtable。
5、Redis有序集合Zset(sorted set)
Redis有序集合zset与普通集合set非常相似，是一个没有重复元素的字符串集合。
不同之处是有序集合的每个成员都关联了一个评分（score）,这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复了
因为元素是有序的, 所以你也可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。
访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。
常用命令
zadd <key><score1><value1><score2><value2>…
将一个或多个 member 元素及其 score 值加入到有序集 key 当中。
zrange <key><start><stop> [WITHSCORES]
返回有序集 key 中，下标在<start><stop>之间的元素
带WITHSCORES，可以让分数一起和值返回到结果集。
zrangebyscore key minmax
返回有序集 key 中，所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。
zrevrangebyscore key maxmin
同上，改为从大到小排列。
zincrby <key><increment><value> 为元素的score加上增量
zrem <key><value>删除该集合下，指定值的元素
zcount <key><min><max>统计该集合，分数区间内的元素个数
zrank <key><value>返回该值在集合中的排名，从0开始。
案例：如何利用zset实现一个文章访问量的排行榜？
数据结构
SortedSet(zset)是Redis提供的一个非常特别的数据结构，一方面它等价于Java的数据结构Map<String, Double>，可以给每一个元素value赋予一个权重score，另一方面它又类似于TreeSet，内部的元素会按照权重score进行排序，可以得到每个元素的名次，还可以通过score的范围来获取元素的列表。
zset底层使用了两个数据结构
（1）hash，hash的作用就是关联元素value和权重score，保障元素value的唯一性，可以通过元素value找到相应的score值。
（2）跳跃表，跳跃表的目的在于给元素value排序，根据score的范围获取元素列表。
跳跃表（跳表）
1、简介
有序集合在生活中比较常见，例如根据成绩对学生排名，根据得分对玩家排名等。对于有序集合的底层实现，可以用数组、平衡树、链表等。数组不便元素的插入、删除；平衡树或红黑树虽然效率高但结构复杂；链表查询需要遍历所有效率低。Redis采用的是跳跃表。跳跃表效率堪比红黑树，实现远比红黑树简单。
2、实例
对比有序链表和跳跃表，从链表中查询出51
- 有序链表
要查找值为51的元素，需要从第一个元素开始依次查找、比较才能找到。共需要6次比较。
- 跳跃表
从第2层开始，1节点比51节点小，向后比较。
21节点比51节点小，继续向后比较，后面就是NULL了，所以从21节点向下到第1层
在第1层，41节点比51节点小，继续向后，61节点比51节点大，所以从41向下
在第0层，51节点为要查找的节点，节点被找到，共查找4次。
从此可以看出跳跃表比有序链表效率要高
三、Redis中新的数据类型
1、Bitmaps
命令：
1、setbit
（1）格式
setbit<key><offset><value>设置Bitmaps中某个偏移量的值（0或1）
2、getbit
（1）格式
getbit<key><offset>获取Bitmaps中某个偏移量的值
3、bitcount
统计字符串被设置为1的bit数。一般情况下，给定的整个字符串都会被进行计数，通过指定额外的 start 或 end 参数，可以让计数只在特定的位上进行。start 和 end 参数的设置，都可以使用负数值：比如 -1 表示最后一个位，而 -2 表示倒数第二个位，start、end 是指bit组的字节的下标数，二者皆包含。
（1）格式
bitcount<key>[start end] 统计字符串从start字节到end字节比特值为1的数量
4、bitop
(1)格式
bitop and(or/not/xor) <destkey> [key…]
关于bitop的实例：假设统计2021年7月29日和30日都访问过的游客数量，1表示访问过
总结：
bitmaps适合每天访问流量巨大的情况下，存储起来相对set会节省很多空间
2、HyperLogLog
这是一个针对存储基数的数据类型，例如{1,3,5,6,1,3}中，基数为4，即不重复的数的总个数
解决基数问题有很多种方案：
（1）数据存储在MySQL表中，使用distinct count计算不重复个数
（2）使用Redis提供的hash、set、bitmaps等数据结构来处理
以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。
能否能够降低一定的精度来平衡存储空间？Redis推出了HyperLogLog
Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。
在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。
但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。
1、pfadd
（1）格式
pfadd <key>< element> [element ...] 添加指定元素到 HyperLogLog 中
2、pfcount
（1）格式
pfcount<key> [key ...] 计算HLL的近似基数，可以计算多个HLL，比如用HLL存储每天的UV，计算一周的UV可以使用7天的UV合并计算即可
3、pfmerge
（1）格式
pfmerge<destkey><sourcekey> [sourcekey ...] 将一个或多个HLL合并后的结果存储在另一个HLL中，比如每月活跃用户可以使用每天的活跃用户来合并计算可得
示例：
四、Redis_Jedis
1、在idea中使用jedis操作redis
查看防火墙是否关闭
systemctl status firewalld
关闭linux防火墙命令：
systemctl stop firewalld
在idea中进行简单测试
public static void main(String[] args) {
//ip地址和端口号
Jedis jedis = new Jedis("192.168.131.128",6379);
//redis密码
jedis.auth("hy`md@.");
String ping = jedis.ping();
System.out.println(ping);
}运行结果：
成功
2、简单实现一个功能
实现输入手机号码发送验证码功能：
输入手机号发送6位数验证码，两分钟有效，输入验证码返回成功或者失败 ，每个手机号码每天只能输入三次，使用main方法测试，不具体写前端页面
①生成验证码方法
//1、生成6位数字验证码方法
public static StringBuilder getCode(){
Random random = new Random();
StringBuilder str = new StringBuilder();
for (int i = 0; i < 6; i++) {
int val = random.nextInt(10);
str.append(val);
}
return str;
}②模拟发送验证码方法
将发送次数和验证码保存到redis中
//2、每个手机每天发送三次，验证码放到redis中
public static void sendPhoneAndCode(String phone){
//redis密码
jedis.auth("hy`md@.");
//手机号发送次数key
String phoneCount = "VerCode" + phone + "count:";
//验证码key
String ver = "VerCode";
//每个手机每天只能发三次
String count = jedis.get(phoneCount);
if (count == null) {
//没有次数纪录，说明第一次发送
jedis.setex(phoneCount,24*60*60L,"1");
}else if (Integer.parseInt(jedis.get(phoneCount)) <= 2){
//发送次数+1
jedis.incr(phoneCount);
}else {
//已经发送三次了
System.out.println("您今天的发送次数已经达到上限！");
jedis.close();
}③校验验证码是否正确
//验证码校验
public static void getRedisCode(String phone,String code){
jedis.auth("hy`md@.");
String varCode = jedis.get("VerCode"+phone);
if (code.equals(varCode)){
System.out.println("成功");
}else {
System.out.println("失败");
}
}④测试
1、先发送一次验证码
public static void main(String[] args) {
//模拟点击发送验证码
sendPhoneAndCode("15093176869");
}
成功
2、验证是否成功
输入错误验证码6666失败
输入一个正确的验证码
成功
五、SpringBoot整合Redis
1、引入依赖
<!--SpringBoot整合Redis依赖-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<!--SpringBoot2.x整合Redis依赖所需连接池依赖-->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
</dependency>
2、编写application.yaml配置文件配置redis
spring:
redis:
#Redis服务器地址
host: 192.168.131.128
#Redis服务器连接端口
port: 6379
#Redis数据库索引（默认为0）
database: 0
#连接超时时间（毫秒）
timeout: 1800000
#连接池最大连接数（使用负值表示没有限制）
lettuce.pool.max-active: 20
#最大阻塞等待时间(负数表示没限制)
lettuce.pool.max-wait: -1
#连接池中的最大空闲连接
lettuce.pool.max-idle: 5
#连接池中的最小空闲连接
lettuce.pool.min-idle: 0
3、配置类
package com.young.config;
import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.cache.CacheManager;
import org.springframework.cache.annotation.CachingConfigurerSupport;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.cache.RedisCacheConfiguration;
import org.springframework.data.redis.cache.RedisCacheManager;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.RedisSerializationContext;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
import java.time.Duration;
@EnableCaching
@Configuration
public class RedisConfig extends CachingConfigurerSupport {
@Bean
public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
RedisTemplate<String, Object> template = new RedisTemplate<>();
RedisSerializer<String> redisSerializer = new StringRedisSerializer();
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(om);
template.setConnectionFactory(factory);
//key序列化方式
template.setKeySerializer(redisSerializer);
//value序列化
template.setValueSerializer(jackson2JsonRedisSerializer);
//value hashmap序列化
template.setHashValueSerializer(jackson2JsonRedisSerializer);
return template;
}
@Bean
public CacheManager cacheManager(RedisConnectionFactory factory) {
RedisSerializer<String> redisSerializer = new StringRedisSerializer();
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
//解决查询缓存转换异常的问题
ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(om);
// 配置序列化（解决乱码的问题）,过期时间600秒
RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig()
.entryTtl(Duration.ofSeconds(600))
.serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer))
.serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer))
.disableCachingNullValues();
RedisCacheManager cacheManager = RedisCacheManager.builder(factory)
.cacheDefaults(config)
.build();
return cacheManager;
}
}测试类
package com.young.controller;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/redis")
public class RedisTestController {
@Autowired
private RedisTemplate redisTemplate;
@GetMapping("/testRedis")
public String testRedis(){
redisTemplate.opsForValue().set("young","666");
String str = (String) redisTemplate.opsForValue().get("young");
return str;
}
}
成功
