4.如何删除大 key?
2.Hash、List、Set、ZSet 类型的元素的个数超过 5000个;
内存分布不均。集群模型在 slot 分片均匀情况下,会出现数据和查询倾斜情况,部分有大 key 的 Redis 节点占用内存多,QPS 也会比较大。
redis-cli -h 127.0.0.1 -p6379 -a "password" -- bigkeys使用的时候注意事项:
.如果没有从节点,那么可以选择在 Redis 实例业务压力的低峰阶段进行扫描查询,以免影响到实例的正常运行;或者可以使用 -i 参数控制扫描间隔,避免长时间扫描降低 Redis 实例的性能。
.对于集合类型来说,这个方法只统计集合元素个数的多少,而不是实际占用的内存量。但是,一个集合中的元素个数多,并不一定占用的内存就多。因为,有可能每个元素占用的内存很小,这样的话,即使元素个数有很多,总内存开销也不大;
.如果不能提前知道写入集合的元素大小,可以使用 MEMORY USAGE 命令(需要 Redis 4.0 及以上版本),查询一个键值对占用的内存空间。
rdb dump.rdb -c memory --bytes 10240 -f redis.csv
def del_large_hash(): r = redis.StrictRedis(host='redis-host1', port=6379) large_hash_key ="xxx" #要删除的大hash键名 cursor = '0' while cursor != 0: # 使用 hscan 命令,每次获取 100 个字段 cursor, data = r.hscan(large_hash_key, cursor=cursor, count=100) for item in data.items(): # 再用 hdel 命令,每次删除1个字段 r.hdel(large_hash_key, item[0])对于删除大 List,通过 ltrim 命令,每次删除少量元素。
def del_large_list(): r = redis.StrictRedis(host='redis-host1', port=6379) large_list_key = 'xxx' #要删除的大list的键名 while r.llen(large_list_key)>0: #每次只删除最右100个元素 r.ltrim(large_list_key, 0, -101)对于删除大 Set,使用 sscan 命令,每次扫描集合中 100 个元素,再用 srem 命令每次删除一个键。
# 堆代码 duidaima.com def del_large_set(): r = redis.StrictRedis(host='redis-host1', port=6379) large_set_key = 'xxx' # 要删除的大set的键名 cursor = '0' while cursor != 0: # 使用 sscan 命令,每次扫描集合中 100 个元素 cursor, data = r.sscan(large_set_key, cursor=cursor, count=100) for item in data: # 再用 srem 命令每次删除一个键 r.srem(large_size_key, item)对于删除大 ZSet,使用 zremrangebyrank 命令,每次删除 top 100个元素。
def del_large_sortedset(): r = redis.StrictRedis(host='large_sortedset_key', port=6379) large_sortedset_key='xxx' while r.zcard(large_sortedset_key)>0: # 使用 zremrangebyrank 命令,每次删除 top 100个元素 r.zremrangebyrank(large_sortedset_key,0,99)2、异步删除