redis 限制内存使用大小的实现-6ren

redis 限制内存使用大小的实现

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

29

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章redis 限制内存使用大小的实现由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

记录一次生产环境问题排查过程:

生产环境部署方式：nginx + uwsgi + flask 。

问题描述:

发现生产环境中之前正常运行的服务突然不可用了，查看程序日志发现部分接口访问时报I/O写错误，nginx acess.log显示504，error.log显示 upstream time out. 同时 netstat -apn | grep 6379 | wc -l 检查发现redis存在大量连接，进一步检查发现其中大多为 SYN_SENT 包，连接大多归属于uwsgi 进程.

因为程序中有很多接口被调用是会访问redis, 以为是redis连接池导致，对程序中的redis连接池进行优化后重启服务，刚启动时一切正常，http 200, 但几分钟后服务再次挂掉，http 504. 。

检查系统资源使用情况，发现 kswapd0 进程CPU占用很高，这个进程是当物理内存不足时，会将一部分硬盘当做虚拟内存来使用, 使用swap分区与内存换页操作交换数据，导致CPU占用过高, 再细看发现redis-server内存占用已超过100%:

redis 限制内存使用大小的实现

进入redis中查看info memory和各存储数据的key下数据量，果然存在大量未处理完毕的数据.

到此问题终于是找到了.

设置redis最大占用内存。

 
    ? 
   
         # 编辑redis配置文件，加入最大内存使用限制，我根据服务器的情况设置为3G 
        
         maxmemory 3221225472

设置redis数据过期策略:

redis中有6种过期策略:

 
    ? 
   
         # 根据LRU算法生成的过期时间来删除 
        
         # volatile-lru -> remove the key with an expire set using an LRU algorithm 
        
         # 根据LRU算法删除任何key。 
        
         # allkeys-lru -> remove any key accordingly to the LRU algorithm 
        
         # 根据过期设置来随机删除key。 
        
         # volatile-random -> remove a random key with an expire set 
        
         # 无差别随机删。 
        
         # allkeys-random -> remove a random key, any key 
        
         # 根据最近过期时间来删除（辅以TTL） 
        
         # volatile-ttl -> remove the key with the nearest expire time (minor TTL) 
        
         # 谁也不删，直接在写操作时返回错误。 
        
         # noeviction -> don't expire at all, just return an error on write operations

在redis配置文件中设置过期策略为：maxmemory-policy allkeys-lru 。

一开始是设置为volatile-lru的，但是该策略只是清除设置过期时间的key值，因为很多key并没有设置过期时间。因此修改为maxmemory-policy allkeys-lru，指明非活跃近期很少用的key值清除. 。

在使用maxmemory-policy allkeys-lru策略时，内存超限后将不再存储数据，但数据的读取删除操作不会受影响，超限时显示错误。

OOM command not allowed when used memory > 'maxmemory' 。

redis 限制内存使用大小的实现

重启程序，至此服务终于正常运行.

总结：本次的问题归根结底是redis中存储入了大量脏数据，但数据处理并没有及时的清理掉这部分数据，最终导致服务停滞，allkeys-lru策略有可能会将长期未用但实际有用的数据清理掉，所以还是应优化数据处理为主.

到此这篇关于redis 限制内存使用大小的实现的文章就介绍到这了,更多相关redis 限制内存内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！。

原文链接：https://blog.csdn.net/weixin_40238625/article/details/88216175 。

最后此篇关于redis 限制内存使用大小的实现的文章就讲到这里了,如果你想了解更多关于redis 限制内存使用大小的实现的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

29

4

0

文章推荐： Sharding-Jdbc 自定义复合分片的实现(分库分表)

文章推荐：浅谈c++的编译和运行

文章推荐：使用Redis实现秒杀功能的简单方法

文章推荐： C++ 类访问控制的条件总结

redis - Redis 服务器崩溃时如何接收 Redis 发布消息
我有一个关于 Redis Pubsub 的练习，如下所示: 如果发布者发布消息但订阅者没有收到服务器崩溃。订阅者如何在重启服务器时收到该消息？请帮帮我，谢谢! 最佳答案在这种情况下，消息将永远消失
redis - Redis 服务器重启后服务堆栈 Redis 重新连接
我们正在使用 Service Stack 的 RedisClient 的 BlockingDequeue 来保存一些数据，直到它可以被处理。调用代码看起来像 using (var client =
redis - 如何让一个 Redis 客户端等待所有其他 Redis 客户端响应？
我有一个 Redis 服务器和多个 Redis 客户端。每个 Redis 客户端都是一个 WebSocket+HTTP 服务器，其中包括管理 WebSocket 连接。这些 WebSocket+HTT
redis - 将数据从 Redis 独立实例移动到 Redis 集群
我有多个 Redis 实例。我使用不同的端口创建了一个集群。现在我想将数据从预先存在的 redis 实例传输到集群。我知道如何将数据从一个实例传输到集群，但是当实例多于一个时，我无法做到这一点。最佳
redis - 使用 Redis 集群自动故障转移到提升的 Redis Slave
配置:三个redis集群分区，跨三组一主一从。当 Master 宕机时，Lettuce 会立即检测到中断并开始重试。但是，Lettuce 没有检测到关联的 slave 已经将自己提升为 master
redis - 如何删除存储在给定 Redis 集中的 Redis 键？
我想根据从指定集合中检索这些键来删除 Redis 键(及其数据集)，例如: HMSET id:1 password 123 category milk HMSET id:2 password 456
redis - 有没有办法从 redis 获取所有禁用的 redis 命令的列表？
我正在编写一个机器人(其中包含要禁用的命令列表)，用于监视 Redis。它通过执行禁用命令，例如 (rename-command ZADD "")当我重新启动我的机器人时，如果要禁用的命令列表发生变化
redis - Redis(redis-py)可以处理多少个 channel ？
我的任务是为大量听众使用发布/订阅。这是来自 docs 的订阅的简化示例: r = redis.StrictRedis(...) p = r.pubsub() p.subscribe('my-firs
redis - 1 Redis 哨兵与多个 Redis 哨兵？
我一直在阅读有关使用 Redis 哨兵进行故障转移的内容。我打算有1个master+1个slave，如果master宕机超过1分钟，就把slave变成master。我知道这在 Sentinel 中是
redis - 分片常规 Redis 与 Redis 集群
与仅使用常规 Redis 和创建分片相比，使用 Redis 集群有哪些优势？在我看来，Redis Cluster 更注重数据安全(让主从架构解决故障)。最佳答案我认为当您需要在不丢失任何数据的情
redis - 即使 Redis key 已过期(但仍存在于 Redis 中)，是否可以获得 Redis key ？
由于 Redis 以被动和主动方式使 key 过期，有没有办法得到一个 key ，即使它的过期时间已过 (但在 Redis 中仍然存在 )？最佳答案 DEBUG OBJECT myKey 将返回
redis - 如何在 redis lua 脚本中运行 redis monitor 命令而不是 redis-cli monitor
我想用redis lua来实现monitor命令，而不是redis-cli monitor。但我不知道怎么办。 redis.call('monitor') 不起作用。最佳答案您不能从 Redis
redis - :Redis Replicated setup, Redis Cluster setup Redis Sentinel setup 和 Redis with Master with Slave only 有什么区别？[REDISSON]
我读过 https://github.com/redisson/redisson 我发现有几个 Redis 复制设置(包括对 AWS ElastiCache 和 Azure Redis 缓存的支持)
redis - Microsoft.AspNet.SignalR.Redis 需要 StackExchange.Redis.StrongName，但是 StackExchange.Redis.Extensions.Core 需要 StackExchange.Redis
Microsoft.AspNet.SignalR.Redis 和 StackExchange.Redis.Extensions.Core 在同一个项目中使用。前者需要StackExchange.Red
【Redis】Redis 安装启动使用流程
1. 认识 Redis Redis（Remote Dictionary Server）远程词典服务器，是一个基于内存的键值对型 NoSQL 数据库。特征：键值（key-value）型，value
【Redis】Redis 数据结构介绍
1. Redis 数据结构介绍 Redis 是一个 key-value 的数据库，key 一般是 String 类型，但 value 类型多种多样，下面就举了几个例子： value 类型示例 Str
【Redis】Redis 的缓存使用技巧（商户查询缓存）
1. 什么是缓存缓存（Cache）就是数据交换的缓冲区，是存贮数据的临时地方，一般读写性能较高。缓存的作用：降低后端负载提高读写效率，降低响应时间缓存的成本：数据一致性成本代码维护成本
redis - redis:使用joblib批量插入
我有一份记录 list 。对于我的每条记录，我都需要进行一些繁重的计算，因为我要在Redis中创建反向索引。为了达到到达记录，需要在管道中执行多个redis命令(sadd为100 s + set为1
redis - Redis Multi哨兵失败后不选举新的Redis主机
我有一个三节点Redis和3节点哨兵，一切正常，所有主服务器和从属服务器都经过验证，并且哨兵配置文件已与所有Redis和哨兵节点一起更新，但是问题是当Redis主服务器关闭并且哨兵希望选举失败者时再次
redis - Redis:如何计算已排序列表时间序列中的时间差？
我正在尝试计算Redis中存储的消息之间的响应时间。但是我不知道该怎么做。首先，我必须像这样存储chat_messages的时间流 ZADD conversation:CONVERSATION_ID

首页

博学

6Ren·AI

商城

redis 限制内存使用大小的实现