Redis设计与实现数据库

编程

上一篇:Redis设计与实现-对象

Redis是一个键值对数据库,它默认有16个db,默认选中的是第0个数据库

定义

typedef struct redisServer{

//其他属性

//数据库,一个数组,默认是16个

redisDb *db;

//其他属性

}

typedef struct redisDb{

//其他属性

//字典----键空间

dict * dict;

//字典----过期时间,保存所有带有过期时间的键

dict * expires;

//其他属性

}

从数据结构定义可以看出每一个数据库底层都是用字典实现的

键空间维护操作

当执行命令时,Redis会维护一些数据来支撑一些高级特性,比如键过期、AOF持久化、发送通知等,具体如下:

  • 读取操作会根据读取是否命中,更新redisServer的keyspace_hits属性和keyspace_missed属性,即命中和不命中衍生:如果程序支持这个命令,是否可以通过判断这个属性来避免缓存穿透的问题,需要验证

  • 读取操作会更新对象LRU属性,此属性可以通过OBJECT IDLETIME查看,但是此命令本身不会更新对象的LRU属性。这里的对象是值对象。

  • 读取时发现已过期,则会先删除这个过期键

  • 如果客户端使用watch命令监视某一个键,那么服务器修改它之后会将这个键标记为脏(dirty),从而让事务程序知道这个键被修改过

  • 每次修改键,都会讲dirty计数器+1

  • 如果服务器开启了通知功能,那么修改之后将按配置发送相应的通知

通过info stats 命令可以看到更多的信息

total_connections_received:1

total_commands_processed:30

instantaneous_ops_per_sec:0

total_net_input_bytes:1011

total_net_output_bytes:13707

instantaneous_input_kbps:0.00

instantaneous_output_kbps:0.00

rejected_connections:0

sync_full:0

sync_partial_ok:0

sync_partial_err:0

expired_keys:0

expired_stale_perc:0.00

expired_time_cap_reached_count:0

evicted_keys:0

keyspace_hits:2

keyspace_misses:1

pubsub_channels:0

pubsub_patterns:0

latest_fork_usec:10075

migrate_cached_sockets:0

slave_expires_tracked_keys:0

active_defrag_hits:0

active_defrag_misses:0

active_defrag_key_hits:0

active_defrag_key_misses:0

过期时间

设置过期时间有秒毫秒以及秒毫秒的时间戳,它们分别对应四种命令,然后四种命令的另外三种最终都是通过转换为pexpireat实现的

expire:秒

pexpre:毫秒

expireat:秒-时间戳

pexpireat毫秒-时间戳

setex在设置值的时候同时可以设置过期时间,最终也还是通过pexpireat来设置过期时间

命令ttl和pttl可以得带过期时间键的剩余时间

persist 命令可以移除过期时间

删除策略

redis通过三种不同策略检查带有过期时间的键,将过期时间和当前时间进行比较如果小于0,则过期,否则未过期,即可执行相关的操作。。过期操作依然是一种修改,即可通过watch命令来检测是否被删除,实时的发现键被删除而做出相应的处理。

定时删除

在设置键的同时创建一个定时器,当一个键的过期时间来临的时候就会立马删除

优点

  • 立即删除

  • 内存友好,因为会立即删除

缺点

  • 对CPU不友好,这么多定时器需要耗费相当一部分的CPU资源

  • 因为创建定时器需要通过时间事件来触发,而时间事件的实现方式是一种无须列表,查找键的时间复杂度是O(N),所以效率也不高

惰性删除

每次从键空间获取键时,都检查键的过期时间,如果过期了就删除

优点

  • CPU友好

  • 一次删除只会删除某一个键

缺点

  • 对内存不友好,极端情况下甚至相当于内存泄露,一直不会释放内存

定期删除

每隔一段时间执行一次删除过期键操作,是批量删除。具体逻辑是:

从一定数据量的数据库中随机取出一定量的键,如果过期,则删除。在整个过程中有一个current_db记录当前被操作的数据库下标,直到所有的db都被执行一遍删除操作,current_db被标记为0

优点

  • 通过算法平衡CPU和内存友好性

 

小结:

Redis实际采用的删除策略是:惰性删除+定期删除

这样做的好处是,能够通过主动方式及时删除那些过期键,然后使用定期删除的算法尽量避免内存的不友好和CPU的不友好。

RDB、AOF、复制对过期键处理

因为Redis会将数据持久化到磁盘上,为了保证数据一致性和正确性,Redis需要提供不同的处理方式对三种场景下过期键的处理

RDB

如果服务器以Master身份运行,从RDB文件中load的时候会判断键是否过期,然后删除

如果服务器以salve身份运行,从RDB文件中load的时候不会进行判断,但是下一次同步会将过期的干掉

执行save和bgsave命令时会判断键是否过期,然后删除

AOF

任何一种删除策略在执行删除的时候都会往AOF文件中APPEND删除命令

重写AOF的时候会将过期键删除掉

复制模式

当服务器运行在复制模式下时,从服务器不会像主服务器一样有主动的过期键删除策略,而是被动接收主服务器发送过来的删除del操作,这样可以保证主从的数据一致性

通知

使用如下参数配置notify-keyspace-events选项,可以让Redis发送不同的通知来达到检测键的命令执行情况,然后再做出相应的逻辑处理

配置可选项

# 以下有三组,组之间是与的关系

# 这是一组,互斥

K Keyspace events, published with __keyspace@<db>__ prefix.

E Keyevent events, published with __keyevent@<db>__ prefix.

# 这是一组,可以指定多个

g Generic commands (non-type specific) like DEL, EXPIRE, RENAME, ...

# 这是一组,可以指定多个

$ String commands

l List commands

s Set commands

h Hash commands

z Sorted set commands

x Expired events (events generated every time a key expires)

e Evicted events (events generated when a key is evicted for maxmemory)

# 是"g$lshzxe"别名

A Alias for g$lshzxe, so that the "AKE" string means all the events

配置方式就是举例:

发送所有键空间和键时间通知,即所有一切通知,选项=AKE

发送所有键空间通知,选项=AE

发送所有键事件通知,选项=KE

发送字符串相关的键空间和键事件通知,选项=$KE

以上是 Redis设计与实现数据库 的全部内容, 来源链接: utcz.com/z/512330.html

回到顶部