个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
25
4
在现代应用程序中，缓存被广泛应用以提高性能和减轻后端数据库的压力。本文将探讨面对 Redis 集群缓存分配不均问题时的解决方法.
我们的 Redis 集群部署包括 3 主 3 从，每个节点分配内存 4G（服务器总内存32G），内存淘汰策略相同： volatile-lru .
在性能测试过程中，通过 pinpoint 监控发现报错：OOM 。
Error
in
execution; nested exception
is
io.lettuce.core.RedisCommandExecutionException: OOM command not allowed when used memory>
'
maxmemory
'
清空缓存后，再次执行性能测试一段时间，使用 info memory 查看各节点内存使用情况，发现 2、6 节点内存快速上升，其它节点内存使用率很低.
例如，2 节点内存达到 3.81G，6 节点内存达到 3.8G，而其他 4 个节点内存仅为 80M 左右.
[root@iZ2ze3e0bvnd1hf5xbkxn3Z redis01]# ./redis-cli -h
192.168
.
0.213
-p
6692
-c -a Tiye@54L2!
Warning: Using a password with
'
-a
'
or
'
-u
'
option on the command line
interface
may not be safe.
192.168
.
0.213
:
6692
>
info memory
# Memory
used_memory:
4095914816
used_memory_human:
3
.81G
used_memory_rss:
4473937920
used_memory_rss_human:
4
.17G
used_memory_peak:
4105896552
used_memory_peak_human:
3
.82G
used_memory_peak_perc:
99.76
%
used_memory_overhead:
5159996
used_memory_startup:
1483832
used_memory_dataset:
4090754820
used_memory_dataset_perc:
99.91
%
allocator_allocated:
4095978056
allocator_active:
4728315904
allocator_resident:
4765335552
total_system_memory:
33019609088
total_system_memory_human:
30
.75G
used_memory_lua:
30720
used_memory_lua_human:
30
.00K
used_memory_scripts:
0
used_memory_scripts_human:0B
number_of_cached_scripts:
0
maxmemory:
4096000000
maxmemory_human:
3
.81G
maxmemory_policy:
volatile
-
lru
allocator_frag_ratio:
1.15
allocator_frag_bytes:
632337848
allocator_rss_ratio:
1.01
allocator_rss_bytes:
37019648
rss_overhead_ratio:
0.94
rss_overhead_bytes:
-
291397632
mem_fragmentation_ratio:
1.09
mem_fragmentation_bytes:
378064128
mem_not_counted_for_evict:
0
mem_replication_backlog:
1048576
mem_clients_slaves:
20512
mem_clients_normal:
2603516
mem_aof_buffer:
0
mem_allocator:jemalloc
-
5.1
.
0
active_defrag_running:
0
lazyfree_pending_objects:
0
lazyfreed_objects:
0
[root@iZ2ze3e0bvnd1hf5xbkxn3Z redis02]# ./redis-cli -h
192.168
.
0.213
-p
6691
-c -a Tiye@54L2!
Warning: Using a password with
'
-a
'
or
'
-u
'
option on the command line
interface
may not be safe.
192.168
.
0.213
:
6691
>
info memory
# Memory
used_memory:
84125536
used_memory_human:
80.23M
used_memory_rss:
107753472
used_memory_rss_human:
102.76M
used_memory_peak:
109050608
used_memory_peak_human:
104.00M
used_memory_peak_perc:
77.14
%
used_memory_overhead:
9292232
used_memory_startup:
1483832
used_memory_dataset:
74833304
used_memory_dataset_perc:
90.55
%
allocator_allocated:
84208120
allocator_active:
102572032
allocator_resident:
108343296
total_system_memory:
33019609088
total_system_memory_human:
30
.75G
used_memory_lua:
30720
used_memory_lua_human:
30
.00K
used_memory_scripts:
0
used_memory_scripts_human:0B
number_of_cached_scripts:
0
maxmemory:
4096000000
maxmemory_human:
3
.81G
maxmemory_policy:
volatile
-
lru
allocator_frag_ratio:
1.22
allocator_frag_bytes:
18363912
allocator_rss_ratio:
1.06
allocator_rss_bytes:
5771264
rss_overhead_ratio:
0.99
rss_overhead_bytes:
-
589824
mem_fragmentation_ratio:
1.28
mem_fragmentation_bytes:
23669520
mem_not_counted_for_evict:
0
mem_replication_backlog:
1048576
mem_clients_slaves:
20512
mem_clients_normal:
2603360
mem_aof_buffer:
0
mem_allocator:jemalloc
-
5.1
.
0
active_defrag_running:
0
lazyfree_pending_objects:
0
lazyfreed_objects:
0
cluster nodes 命令获取 Redis 集群中所有节点的信息，并判断各节点主从关系。
[root@iZ2ze3e0bvnd1hf5xbkxn3Z redis06]# ./redis-cli -h
192.168
.
0.213
-p
6696
-c -a Tiye@54L2!
Warning: Using a password with
'
-a
'
or
'
-u
'
option on the command line
interface
may not be safe.
192.168
.
0.213
:
6696
>
cluster nodes
e73a5ec3e26ed23e9b4bf56811527c8820a7bd79
192.168
.
0.213
:
6696
@
16696
myself,slave e2a678a004bc99e76180a16a6a41e2cad1c96052
0
1691992895000
2
connected
25317f0f8f7b2eebdbdc0914c659ab96ed3dab18
192.168
.
0.213
:
6693
@
16693
master -
0
1691992897074
3
connected
10923
-
16383
27aba75f54cccbb42125edb20f2f9d7c2f777d6c
192.168
.
0.213
:
6695
@
16695
slave 5e08015f75cdb05b1c7ed78dead1d85cdb0e838f
0
1691992895070
1
connected
5e08015f75cdb05b1c7ed78dead1d85cdb0e838f
192.168
.
0.213
:
6691
@
16691
master -
0
1691992894068
1
connected
0
-
5460
053916b96426f790244d984cad3f69f9151e4ece
192.168
.
0.213
:
6694
@
16694
slave 25317f0f8f7b2eebdbdc0914c659ab96ed3dab18
0
1691992896072
3
connected
e2a678a004bc99e76180a16a6a41e2cad1c96052
192.168
.
0.213
:
6692
@
16692
master -
0
1691992894000
2
connected
5461
-
10922
根据节点信息中的master字段判断该节点是主节点还是从节点。如果节点的master字段为空，则表示它是主节点；如果master字段不为空，则表示它是从节点，并且该字段的值是对应的主节点ID。 e2a678a004bc99e76180a16a6a41e2cad1c96052 节点是主节点，e73a5ec3e26ed23e9b4bf56811527c8820a7bd79 节点是从节点，并且它的主节点是 e2a678a004bc99e76180a16a6a41e2cad1c96052 。
综上判断： redis集群6个节点，其中2节点的从节点是6节点.
在 Redis 集群中的任意一个节点上执行 cluster slots 命令，分析哈希槽数量分配是否均匀 。
192.168
.
0.213
:
6692
>
cluster slots
1
)
1
) (integer)
0
2
) (integer)
5460
3
)
1
)
"
192.168.0.213
"
2
) (integer)
6691
3
)
"
5e08015f75cdb05b1c7ed78dead1d85cdb0e838f
"
4
)
1
)
"
192.168.0.213
"
2
) (integer)
6695
3
)
"
27aba75f54cccbb42125edb20f2f9d7c2f777d6c
"
2
)
1
) (integer)
5461
2
) (integer)
10922
3
)
1
)
"
192.168.0.213
"
2
) (integer)
6692
3
)
"
e2a678a004bc99e76180a16a6a41e2cad1c96052
"
4
)
1
)
"
192.168.0.213
"
2
) (integer)
6696
3
)
"
e73a5ec3e26ed23e9b4bf56811527c8820a7bd79
"
3
)
1
) (integer)
10923
2
) (integer)
16383
3
)
1
)
"
192.168.0.213
"
2
) (integer)
6693
3
)
"
25317f0f8f7b2eebdbdc0914c659ab96ed3dab18
"
4
)
1
)
"
192.168.0.213
"
2
) (integer)
6694
3
)
"
053916b96426f790244d984cad3f69f9151e4ece
"
根据提供的哈希槽信息，我们可以计算出以下三个哈希槽的数量:
综上判断： 这三个哈希槽的数量分别是5461、5462和5461。即，哈希槽数量分配均匀.
跟产品开发人员沟通，没有做predixy适配，但可以尝试配置。最后发现产品启动服务报错，放弃该方案。尝试过程记录如下:
wget https:
//
github.com/joyieldInc/predixy/releases/download/1.0.5/predixy-1.0.5-bin-amd64-linux.tar.gz
tar zxvf predixy-
1.0
.
5
-bin-amd64-
linux.tar.gz
cd predixy
-
1.0
.
5
① 编辑conf/predixy.conf文件 。
Include cluster.conf #Include cluster.conf解开注释
# Include sentinel.conf
# Include
try
.conf #注释掉Include
try
.conf
## Worker threads
WorkerThreads 3 #从1改为3，表示开启的进程数
② 编辑conf/cluster.conf文件 。
lusterServerPool {
MasterReadPriority
0
#设置为0代表开启读写分离
Password Tiye@54L2
!
#redis集群密码
StaticSlaveReadPriority
50
DynamicSlaveReadPriority
50
RefreshInterval
1
ServerTimeout
1
ServerFailureLimit
10
ServerRetryTimeout
1
KeepAlive
120
Servers {
+
192.168
.
0.213
:
6691
#redis集群节点
+
192.168
.
0.213
:
6692
+
192.168
.
0.213
:
6693
+
192.168
.
0.213
:
6694
+
192.168
.
0.213
:
6695
+
192.168
.
0.213
:
6696
}
}
配置文件解析文档： https://github.com/joyieldInc/predixy/blob/master/doc/config_CN.md 。
① 创建启动和停止脚本，放到predixy-1.0.5目录下 。
mkdir -p /opt/predixy-
1.0
.
5
/logs/
cd
/opt/predixy-
1.0
.
5
/bin
② 创建启动脚本up.sh 。
#!/bin/
bash
path
=
`pwd`
nohup $path
/bin/predixy conf/predixy.conf > $path/logs/predixy.log
2
>&
1
&
③ 查看日志 。
tail -f logs/predixy.log
④ 创建停止脚本down.sh 。
#!/bin/
bash
path
=
`pwd`
pid
=`ps -ef | grep $path/bin/predixy | grep -v grep | awk
'
{print $2}
'
`
kill
-
9
$pid
./redis-cli -p
7617
127.0
.
0.1
:
7617
>
mset b1 b2
OK
127.0
.
0.1
:
7617
>
get
b1
"
b2
"
将应用配置文件中的集群地址修改为predixy地址，应用服务启动报错:
...Autowired annotation
is
not supported on
static
fields...
尝试缩减为 4 个节点，以提升单个节点的内存配置。但创建集群时提示至少需要 3 个主节点，因此该方案也不可行.
*** ERROR: Invalid configuration
for
cluster creation.
*** Redis Cluster requires at least
3
master nodes.
*** This
is
not possible with
4
nodes and
1
replicas per node.
*** At least
6
nodes are required
最终解决方案是修改集群节点内存：1、3、4、5 节点分配内存 3G，2、6 节点分配内存 8G.
面对 Redis 集群缓存分配不均的问题，我们可以通过逐步的优化方法来解决。首先，了解节点信息、主从关系和缓存占用情况，然后分析哈希槽分布情况，尝试不同的优化方案，最后通过调整内存分配来解决问题.
最后此篇关于优化Redis集群缓存分配：解决节点间分配不均导致内存溢出问题的文章就讲到这里了,如果你想了解更多关于优化Redis集群缓存分配：解决节点间分配不均导致内存溢出问题的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我有一个 div(蓝色框)，它在父元素(红色框)内的页面上绝对定位，我需要将 overflow-y 设置为隐藏，以便它强制 Y 轴上的溢出内容切掉了，但我希望任何溢出-x 的内容都可见。 HTML:
请参阅以下帖子以获取突出显示我的问题和可能的解决方案的图片: CSS overflow-y:visible, overflow-x:scroll 但是，当您实际移动滚动条时，此策略会中断。在建议的实现
我在搜索中看到过几个类似的问题，但要么没有正确回答问题，要么没有给出答案。所以，我再问一次。 .parent { overflow-y:scroll; overflow-x:visible; wid
我读过这个CSS overflow-x hidden and overflow-y visible (以及很多其他帖子)但我无法在我的具体情况下使用它。 我正在使用 slick-slider并想添加下
我有以下 Spark 作业，试图将所有内容保留在内存中: val myOutRDD = myInRDD.flatMap { fp => val tuple2List: ListBuffer[(St
我有疑问 两个16位的值加上最大值，16位机会不会溢出？ 我会详细说明 unsigned short a; unsigned short b; unsigned long c; c=(unsigne
我有这个 HTML 和 CSS，但“溢出:隐藏”标签在 Firefox 中不起作用。这让我感到难过...有人知道为什么它不起作用吗？是因为A标签不支持overflow标签吗？ #page_sideba
我正在开发一个程序，用于在 C++ 中分解非常大的数字(20 位或更多)，并且正在使用 GMP 来处理溢出问题。我的程序对于大约 10 位或更少的数字运行良好，但是当我向它抛出一个 15 位数字时，它
我创建了一个 Canvas ，并在其中放置了一个StackPanel。 StackPanel是水平的，它接受缩略图图像的列表。 Canvas 具有固定的大小。当我放置的缩略图多于Canvas宽度不能容
当 g_array_append_val() 时会发生什么或 GLib 中的其他附加/前置函数之一，使 GArray 的长度大于 guint (unsigned int) 所能容纳的长度？ 文档对此没
overflow-x:hidden 和 overflow:hidden; 有什么区别？ 我所知道的是overflow-x:hidden;禁用水平滚动，但当我使用它时，它不仅仅适用于 Firefox，所
我们正在运行 Solr 来索引大量数据，但遇到了一个非常有趣的问题，我无法在任何地方找到任何帮助。 似乎 Solr 使用带符号的 32 位整数来计算索引中当前的文档数。我们刚刚达到了这个数字，我们的
这是我的查询: 从相似性中选择 COUNT(*)，其中 T1Similarity = 0 或 T2Similarity = 0 结果如下: Msg 8115, Level 16, State 2, L
int main(void) { char x1 = 0x81; char x2 = 0x1; int a, b; a = x1
我有一个 div，其中的内容通过查询的 append() 定期附加到它。随着内容越来越长，最终会溢出div。我不希望在溢出时出现滚动条，但仍然让内容向上滚动以显示下面的新内容。 这可能吗？当我使用 o
我为 UITextField 创建了一个简单的子类，它按预期工作。我遇到的唯一问题是当文本值变得太大时，它会溢出到清除按钮中。 我似乎无法找到如何仅更改文本的右侧以具有一些填充而不与清除按钮相交的方法
我想要一个包括下拉菜单的粘性导航栏。但是，当我将鼠标悬停在它上面时，下拉菜单没有显示。 如果我删除 overflow: hidden;在无序列表中，当我向下滚动时，导航栏设法保持在顶部，但是导航栏是不
我正在研究一些按钮。我想要一个翻转状态，我在一个 div 的图像中有这个，溢出:隐藏以隐藏不活动的状态。它有时有效，但有时看起来像这样: 最奇怪的是，当我尝试使用 Chrome Web Inspect
基本上，我正在尝试创建一个六边形形状，它内部有一个圆圈，圆圈的多余部分应该被隐藏。演示:https://codepen.io/AskSaikatSinha/pen/jwXNPJ?editors=110
这似乎是一个相当常见且不那么奇特的用例，但我以前没有遇到过。我设置了一支笔，但无法在那里复制它，我正在努力找出原因。 Demo Pen 左侧边栏有一个用于元素列表的自定义滚动窗口，但是虽然设置 ove
我是一名优秀的程序员,十分优秀！