Redis 学习笔记

Redis study notes and FAQ

xiaobinqt 收录于类别开发者手册

2021-02-20 2023-08-07 约 5298 字预计阅读 24 分钟

Redis, Redis 数据结构,redis 缓存击穿,redis 布隆过滤器,redis 淘汰机制,redis 持久化机制,redis 分布式缓存

Redis 是一个使用 C 语言开发的数据库，与传统数据库不同的是 Redis 的数据是存在内存中的，我们把这种数据库叫做内存数据库。因为在内存中，所以读写速度非常快，因此 Redis 被广泛应用于缓存方向。

Redis 提供了多种数据类型来支持不同的业务场景，所以 Redis 除了做缓存之外，Redis 还经常用来做分布式锁，消息队列等。Redis 还支持事务、持久化、Lua 脚本、多集群方案。

1 数据结构

在 Redis 中，所有的 key 都是字符串。

2 字符串

字符串类型是 Redis 中最基本的数据类型，一个 key 对应一个 value。

字符串类型是二进制安全的，也就是说 Redis 中的字符串可以包含任何数据。如数字，字符串，jpg 图片或者序列化的对象。

2.1 常用命令

SET key value：设置指定 key 的值为给定的 value。
GET key：获取指定 key 的值。
DEL key：删除指定 key 及其对应的值。
INCR key：将指定 key 的值递增 1。
INCRBY key increment：将指定 key 的值增加指定的 increment 值。
DECR key：将指定 key 的值递减 1。
DECRBY key decrement：将指定 key 的值减去指定的 decrement 值。
APPEND key value：将给定的 value 追加到指定 key 的值的末尾。
STRLEN key：返回指定 key 的值的长度。
GETRANGE key start end：获取指定 key 的子字符串，从 start 到 end 的位置。
SETEX key seconds value：设置指定 key 的值，并指定过期时间（单位为秒）。
SETNX key value：只有当指定 key 不存在时，设置 key 的值为给定的 value。
MSET key value [key value …]：设置多个 key-value 对。
MGET key [key …]：获取多个 key 对应的值。
STRCMP key1 key2：比较两个字符串类型的 key 的值，如果相同返回 0，否则返回非 0 值。
GETSET key value：设置指定 key 的新值，并返回旧值。
SETBIT key offset value：设置或清除指定 key 偏移量上的位（bit）。
BITCOUNT key [start end]：统计指定 key 的值中，被设置为 1 的位的数量。
BITOP operation destkey key [key …]：对一个或多个 key 进行位操作，并将结果保存到 destkey 中。
SETRANGE key offset value：用指定的 value 替换指定 key 值从偏移量 offset 开始的子字符串。

3 Hash

hash 值本身又是一种键值对结构：

所有 hash 的命令都是 h 开头，如 hget、hset、hdel 等

3.1 常用命令

HSET key field value：设置指定 key 中的 field 字段的值为 value。
HGET key field：获取指定 key 中的 field 字段的值。
HMSET key field value [field value …]：同时设置多个 field-value 对。
HMGET key field [field …]：获取指定 key 中多个字段的值。
HDEL key field [field …]：删除指定 key 中的一个或多个字段。
HLEN key：获取指定 key 中字段的数量。
HEXISTS key field：检查指定 key 是否存在指定的 field。
HINCRBY key field increment：将指定 key 中的 field 字段的值增加指定的 increment 值。
HINCRBYFLOAT key field increment：将指定 key 中的 field 字段的值增加指定的浮点数 increment 值。
HKEYS key：获取指定 key 中所有字段的名称。
HVALS key：获取指定 key 中所有字段的值。
HGETALL key：获取指定 key 中所有字段和对应的值，返回一个包含所有字段和值的列表。
HSTRLEN key field：获取指定 key 中指定 field 字段的值的长度。
HSCAN key cursor [MATCH pattern] [COUNT count]：迭代指定 key 中的 Hash 字段。

4 List

List 就是链表（redis 使用双端链表实现的 List），是有序的，value可以重复，可以通过下标取出对应的 value 值，左右两边都能进行插入和删除数据。

List 在 Redis 中是一个非常实用的数据结构，可以用于实现消息队列、任务队列、最新消息列表等场景。它的插入和删除操作都是常数时间复杂度，支持从两端进行操作，非常高效。

4.1 常用命令

LPUSH key element [element …]：将一个或多个元素从列表的左侧插入（推入）。
RPUSH key element [element …]：将一个或多个元素从列表的右侧插入（推入）。
LPOP key：移除并获取列表的最左侧元素。
RPOP key：移除并获取列表的最右侧元素。
LINDEX key index：获取列表在给定索引上的元素。
LLEN key：获取列表的长度（元素数量）。
LRANGE key start stop：获取列表中指定范围内的元素，根据 start 和 stop 的索引位置获取。
LINSERT key BEFORE|AFTER pivot element：在列表中某个元素的前面或后面插入新的元素。
LSET key index element：将列表在给定索引上的元素设置为新的值。
LREM key count element：从列表中删除指定数量的元素。
LTRIM key start stop：修剪（截取）列表，只保留指定范围内的元素。
RPOPLPUSH source destination：将源列表中的最右侧元素弹出并推入目标列表的最左侧。
BLPOP key [key …] timeout：阻塞式地从多个列表的最左侧弹出元素。
BRPOP key [key …] timeout：阻塞式地从多个列表的最右侧弹出元素。
BRPOPLPUSH source destination timeout：阻塞式地将源列表中的最右侧元素弹出并推入目标列表的最左侧。
LLEN key：获取列表的长度（元素数量）。

4.2 使用技巧

lpush + lpop = Stack（栈）
lpush + rpop = Queue（队列）
lpush + ltrim = Capped Collection（有限集合）
lpush + brpop = Message Queue（消息队列）

5 Set

集合类型也是用来保存多个字符串的元素，但和列表有几个不同的点：

👉 不允许有重复的元素
👉 集合中的元素是无序的，不能通过索引下标获取元素
👉 支持集合间的操作，可以取多个集合取交集、并集、差集

5.1 常用命令

SADD key member [member …]：将一个或多个元素添加到集合中。
SMEMBERS key：获取集合中所有的成员（元素）。
SISMEMBER key member：检查一个元素是否是集合的成员。
SCARD key：获取集合的成员数量。
SREM key member [member …]：从集合中移除一个或多个元素。
SPOP key [count]：随机移除并获取集合中一个或多个元素。
SRANDMEMBER key [count]：随机获取集合中一个或多个元素，但不移除它们。
SMOVE source destination member：将一个元素从源集合移动到目标集合。
SINTER key [key …]：计算多个集合的交集。
SINTERSTORE destination key [key …]：将多个集合的交集存储到新的集合中。
SUNION key [key …]：计算多个集合的并集。
SUNIONSTORE destination key [key …]：将多个集合的并集存储到新的集合中。
SDIFF key [key …]：计算多个集合的差集。
SDIFFSTORE destination key [key …]：将多个集合的差集存储到新的集合中。
SSCAN key cursor [MATCH pattern] [COUNT count]：迭代集合中的元素。

6 ZSet

有序集合和集合有着必然的联系，保留了集合不能有重复成员的特性。

区别是，有序集合中的元素是可以排序的，它给每个元素设置一个分数，作为排序的依据。

有序集合中的元素不可以重复，但是 score 分数可以重复，就和一个班里的同学学号不能重复，但考试成绩可以相同。

6.1 常用命令

ZADD key score member [score member …]：将一个或多个成员及其对应的分数添加到有序集合中。
ZRANGE key start stop [WITHSCORES]：按照元素的分数从低到高，获取有序集合中指定范围内的元素。如果使用 WITHSCORES 参数，还会返回元素的分数。
ZREVRANGE key start stop [WITHSCORES]：按照元素的分数从高到低，获取有序集合中指定范围内的元素。如果使用 WITHSCORES 参数，还会返回元素的分数。
ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT offset count]：根据分数范围获取有序集合中的元素。可以指定最小和最大分数，并可选地使用 WITHSCORES 参数返回元素的分数，也可以使用 LIMIT 参数限制结果数量。
ZREVRANGEBYSCORE key max min [WITHSCORES] [LIMIT offset count]：根据分数范围从高到低获取有序集合中的元素。
ZCOUNT key min max：统计有序集合中分数在给定范围内的元素数量。
ZCARD key：获取有序集合中元素的数量。
ZSCORE key member：获取有序集合中指定成员的分数。
ZINCRBY key increment member：为有序集合中的指定成员增加分数。
ZREM key member [member …]：从有序集合中移除一个或多个成员。
ZREMRANGEBYRANK key start stop：根据元素在有序集合中的排名范围，移除元素。
ZREMRANGEBYSCORE key min max：根据分数范围，移除有序集合中的元素。
ZRANK key member：获取有序集合中指定成员的排名（从低到高）。
ZREVRANK key member：获取有序集合中指定成员的排名（从高到低）。
ZSCAN key cursor [MATCH pattern] [COUNT count]：迭代有序集合中的元素。

7 FAQ

7.1 分布式缓存

分布式缓存主要解决的是单机缓存的容量受服务器限制并且无法保存通用的信息 ，因为，本地缓存只在当前服务里有效。比如部署了两个相同的服务，他们两者之间的缓存数据是无法共同的。

分布式缓存的话，使用的较多的较多的解决方案是是 Memcached 和 Redis。不过，随着近些年 Redis 的发展，大家慢慢都转而使用更加强大的 Redis 而放弃 Memcached。

7.2 Redis 和 Memcached 的区别

7.2.1 共同点

都是基于内存的数据库。
都有过期策略。
两者的性能都非常高。

7.2.2 区别

Redis 支持更丰富的数据类型，也就是说可以支持更复杂的应用场景。Redis 不仅仅支持简单的 k/v 类型的数据，同时还提供 list，set，zset，hash 等数据结构的存储。而 Memcached 只支持最简单的 k/v 数据类型。
Redis 的容灾更好，支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用，而 Memecache 把数据全部存在内存中。
Memcached 没有原生的集群模式，需要依靠客户端来实现往集群中分片写入数据，但是 Redis 目前是原生支持 cluster 模式的。
⚠️Redis 在服务器内存使用完之后，可以将不用的数据放到磁盘上。而 Memcached 在服务器内存使用完之后，就会直接报异常。
Memcached 是多线程，非阻塞 IO 复用的网络模型，Redis 使用单线程的多路 IO 复用模型（Redis 6.0 引入了多线程 IO ）。
Memcached 过期数据的删除策略只用了惰性删除，而 Redis 同时使用了惰性删除与定期删除。
Redis 支持发布订阅模型、Lua 脚本、事务等功能，而 Memcached 不支持。

7.3 Redis 如何判断数据是否过期

Redis 通过一个叫做过期字典（可以看作是 hash 表）来保存数据过期的时间。过期字典的键指向 Redis 数据库中的某个key（键），过期字典的值是一个 long long 类型的整数，这个整数保存了 key 所指向的数据库键的过期时间（毫秒精度的 UNIX 时间戳）。

7.4 过期删除策略

如果 Redis 中一批 key 只能存活 1 分钟，那么 1 分钟后，Redis 是怎么对这批 key 进行删除的呢？

惰性删除：只会在取出 key 的时候才对数据进行过期检查。这样对 CPU 最友好，但是可能会造成太多过期 key 没有被删除。
定期删除：每隔一段时间抽取一批 key 执行删除过期 key 操作。Redis 底层会通过限制删除操作执行的时长和频率来减少删除操作对 CPU 时间的影响。

定期删除对内存更加友好，惰性删除对 CPU 更加友好。Redis 采用的是定期删除➕惰性删除。

7.5 内存淘汰机制

我们通过给 key 设置过期时间还是有问题的，因为还是可能存在定期删除和惰性删除漏掉了很多过期 key 的情况。这样就导致大量过期 key 堆积在内存里，然后就 OOM 了，Redis 的数据淘汰机制可以解决这个问题。

策略	说明
`volatile-lru`	（least recently used），从已设置过期时间的数据集（`server.db[i].expires`）中挑选最近最少使用的数据淘汰
`volatile-ttl`	从已设置过期时间的数据集（`server.db[i].expires`）中挑选将要过期的数据淘汰
`volatile-random`	从已设置过期时间的数据集（`server.db[i].expires`）中任意选择数据淘汰
`allkeys-lru`	（least recently used），当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的 key（这个是最常用的）
`allkeys-random`	从数据集（`server.db[i].dict`）中任意选择数据淘汰
`no-eviction`	禁止驱逐数据，也就是说当内存不足以容纳新写入数据时，新写入操作会报错😱。
`volatile-lfu`	（least frequently used），从已设置过期时间的数据集(`server.db[i].expires`)中挑选最不经常使用的数据淘汰
`allkeys-lfu`	（least frequently used），当内存不足以容纳新写入数据时，在键空间中，移除最不经常使用的 key

LRU 是基于最近的访问时间来淘汰键，即淘汰最近最少被使用的键。

LFU 是基于访问频率来淘汰键，即淘汰访问次数最少的键。

7.6 持久化机制

很多时候我们需要持久化数据也就是将内存中的数据写入到硬盘里面，大部分原因是为了备份数据，比如为了防止系统故障而将数据备份到一个另一台机器。

Redis 两种不同的持久化操作。一种持久化方式叫快照（snapshotting，RDB），另一种方式是只追加文件（append-only file, AOF）。

7.6.1 RDB

快照持久化是 Redis 默认采用的持久化方式，在 Redis.conf 配置文件中默认有此下配置：

text

save 900 1     # 在 900 秒(15分钟)之后，如果至少有 1 个 key 发生变化，Redis 就会自动触发 BGSAVE 命令创建快照。
save 300 10    # 在 300 秒(5分钟)之后，如果至少有 10 个key发生变化，Redis 就会自动触发 BGSAVE 命令创建快照。
save 60 10000  # 在 60 秒(1分钟)之后，如果至少有 10000 个key发生变化，Redis 就会自动触发 BGSAVE 命令创建快照。

Redis 可以通过创建快照来获得存储在内存里面的数据在某个时间点上的副本。

Redis 创建快照之后，可以对快照进行备份，可以将快照复制到其他服务器从而创建具有相同数据的服务器副本，还可以将快照留在原地以便重启服务器的时候使用。

7.6.2 AOF

与快照持久化 RDB 相比，AOF 持久化的实时性更好，基本已成为主流的持久化方案。默认情况下 Redis 没有开启 AOF方式的持久化。

开启 AOF 持久化后每执行一条会更改 Redis 中的数据的命令，Redis 就会将该命令写入硬盘中的 AOF 文件。AOF 文件的保存位置和 RDB 文件的位置相同，都是通过 dir 参数设置的，默认的文件名是 appendonly.aof。

Redis 的配置文件中存在三种不同的 AOF 持久化方式，它们分别是：