Redis理论篇03 — ziplist和listpack

关于 list

关于 list 底层数据结构的实现,随着版本的更替有所不同。

  • 早期版本使用 linkedlist(双端列表)和 ziplist(压缩列表)
  • 从 redis 3.2 开启,使用 linkedlist + ziplist 组成的 quicklist。
  • 从 redis 7.0 开始,还是使用 quicklist,只不过将 ziplist 替换为 listpack

ziplist 基本结构

zset、hash 或 list 都直接或间接使用了 ziplist。当zset、hash 中的元素个数较少且都是短字符串时,Redis 的底层会使用 ziplist 作为其底层的数据。而 list 则使用了 quicklist 这种数据结构。

Q:什么是 ziplist?

本质上就是一个字节数组,是 Redis 为了节约内存而设计的一种线性数据结构,可以包含多个元素,每个元素可以是一个字节数组或一个整数。

在配置文件中,有相关的配置参数:

192.168.100.3:6379> config get *ziplist*
 1) "list-max-ziplist-size"
 2) "-2"
 3) "hash-max-ziplist-entries"  // hash 包含的最大 field-value 数量
 4) "512"
 5) "zset-max-ziplist-value"  // zset 单个成员的最大长度
 6) "64"
 7) "hash-max-ziplist-value"  // hash 单个 fileld-value 的最大长度
 8) "64"
 9) "zset-max-ziplist-entries"   // zset 包含的最大成员数量
10) "128"

前面《Redis理论篇02—hash 数据类型的底层》提到,C 语言当中的数组元素被保存在一块连续的内存区域当中,目的就是为了快速找到对应的数组元素。

同样的,ziplist 的这三大块也保存在连续的内存区域中:

  • head。head 主要是包括一些信息,其由三部分组成:
    • zlbytes:ziplist 整体数据结构的字节长度,占用 4 字节。
    • zltail:ziplist 最后一个 元素 在整个数据结构中的偏移量,占用 4 字节,目的是为了方便找到最后一个元素。
    • zllen:ziplist 的元素个数,占用 2 字节,即最多可以有 2^16-1 个元素。
  • entries。存放着元素,可以是字节数组或者整数,长度不限。entries由三部分构成:
    • prevlength:用于记录上一个 entry 的长度,以实现逆序遍历(即从最后一个元素开始一直遍历到第一个元素),默认长度为 1 字节。当上一个 entry 的长度小于 254 字节,prevlength 就占 1 字节,否则自动扩展为 3 字节
    • encoding:用于标志后面 data 的具体类型。如果 data 为整数类型,则占用固定长度为 1 字节;如果 data 为字符串类型,则可能占用 1 字节、2 字节或 5 字节
    • data:真正存储的数据。可以是整数型,也可以是字符串类型。
  • end。ziplist 的结尾标记,只包含 zlend 这部分, 占用 1 字节,固定为 255。

可用如下图表示:

listpack 数据结构

从 Redis 7 开始,使用 listpack 这种数据结构替换了 ziplist,为什么?简单一句话说明——为防止 级联更新 的出现,重写了 ziplist,并命名为 listpack。

问题就出在这个 prevlength 这里,因为是记录上一个 entry 的长度。比如你使用 list 数据类型,有这些的一些数据:

192.168.100.3:6379> select 5
OK
192.168.100.3:6379[5]> keys *
(empty array)
192.168.100.3:6379[5]> rpush empname:ShangHai  Leeo Frank David
192.168.100.3:6379[5]> LRANGE empname:ShangHai 0 -1
1) "Leeo"
2) "Frank"
3) "David"

# 比如我将其中某个元素修改,导致其长度变更
192.168.100.3:6379[5]> lset empname:ShangHai 1 FrankNewName
# 或者在某个元素的前面插入一个字符串元素
192.168.100.3:6379[5]> linsert empname:ShangHai  before FrankNewName Jessica
1) "Leeo"
2) "Jessica"
3) "FrankNewName"
4) "David"

这两种情况都会导致 prevlength 发生变更,而这种情况就涉及到级联操作了(级联更新),在高并发的场景下,这会显著降低 Redis 的性能,于是决定重写 ziplist,并命名为 listpack。在 Redis 7 中,ziplist 已经全部被替换为 listpack,但为了兼容性考虑,部分与 ziplist 相关的配置参数还保留着。

192.168.100.3:6379[5]> type empname:ShangHai
list
192.168.100.3:6379[5]> object encoding empname:ShangHai
"listpack"

192.168.100.3:6379[5]> config get *listpack*
 1) "zset-max-listpack-value"  // zset 单个成员的最大长度
 2) "64"
 3) "list-max-listpack-size"
 4) "-2"
 5) "set-max-listpack-value"
 6) "64"
 7) "set-max-listpack-entries"
 8) "128"
 9) "hash-max-listpack-entries"  // hash 包含的最大 field-value 数量
10) "512"
11) "hash-max-listpack-value"  // hash 单个 fileld-value 的最大长度
12) "64"
13) "zset-max-listpack-entries"  // zset 包含的最大成员数量
14) "128"

listpack 的结构与 ziplist 差不多,其三大块也保存在连续的内存区域中:

  • head。两部分组成:
    • totalBytes:用于存放 listpack 整体数据结构所占的字节数,占用 4 字节。
    • elemNum:用于存放列表包含的 entry 个数。占用 2 字节。与 ziplist 当中的 zllen 意义相同。
  • entries。存放着元素,可以是字节数组或者整数,长度不限。entries由三部分构成:
    • encoding:用于标志后面 data 的具体类型。如果 data 为整数类型,则可能占用 1 、2、3、4、5、9 字节;如果 data 为字符串类型,则可能占用 1 字节、2 字节或 5 字节
    • data:真正存储的数据。可以是整数型,也可以是字符串类型。
    • element-total-len:记录当前 entry 的长度,用于实现逆序遍历,可能占用 1、2、3、4、5 字节
  • end。listpack 的结尾标记,只包含 zlend 这部分, 占用 1 字节,固定为 255。

ziplist 与 listpack 的对比图如下所示:

用一杯咖啡支持我们,我们的每一篇[文档]都经过实际操作和精心打磨,而不是简单地从网上复制粘贴。期间投入了大量心血,只为能够真正帮助到您。
暂无评论

发送评论 编辑评论


|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇