Redis Sentinel 和 fix-slave-config : Redis node is getting set as slave of two masters when it should not be-6ren

Redis Sentinel 和 fix-slave-config : Redis node is getting set as slave of two masters when it should not be

转载作者：可可西里更新时间：2023-11-01 11:36:14

我正在尝试在大型 redis 队列中使用哨兵进行故障转移(12 个哨兵，500 多个分片，每个分片一个主站和一个从站)。我遇到了一个非常奇怪的问题，我的哨兵反复向某些 redis 节点发出命令 +fix-slave-config。我没有注意到这种情况发生在较小的规模上，因为它是值得的。

我注意到两个具体问题:

+fix-slave-config 消息，如上所述
sentinel.conf 显示某些 slave 有两个 master(他们应该只有一个)

处于起始状态的舰队有一个特定的从属节点 XXX.XXX.XXX.177 和一个主节点 XXX.XXX.XXX.244(它们一起构成舰队中的分片 188)。在没有任何节点中断的情况下，slave 的 master 切换到 XXX.XXX.XXX.96(分片 188 的 master)然后返回，然后再返回。这是通过 sshing 进入从节点和主节点并检查 redis-cli 信息来验证的。所有 Redis 节点都以正确的配置启动。所有 Sentinel 节点在它们的 sentinel.conf 中都有正确的配置。当我在每次从属-> 主更改后查询它们时，每个 Sentinel 都有完全相同的主列表。

在我的 12 个哨兵中，记录了以下内容。每分钟都会发送一条 +fix-slave-config 消息:

Sentinel #8: 20096:X 22 Oct 01:41:49.793 * +fix-slave-config slave XXX.XXX.XXX.177:6379 XXX.XXX.XXX.177 6379 @ shard-188 XXX.XXX.XXX.96 6379
Sentinel #1: 9832:X 22 Oct 01:42:50.795 * +fix-slave-config slave XXX.XXX.XXX.177:6379 XXX.XXX.XXX.177 6379 @ shard-172 XXX.XXX.XXX.244 6379
Sentinel #6: 20528:X 22 Oct 01:43:52.458 * +fix-slave-config slave XXX.XXX.XXX.177:6379 XXX.XXX.XXX.177 6379 @ shard-188 XXX.XXX.XXX.96 6379
Sentinel #10: 20650:X 22 Oct 01:43:52.464 * +fix-slave-config slave XXX.XXX.XXX.177:6379 XXX.XXX.XXX.177 6379 @ shard-188 XXX.XXX.XXX.96 6379
Sentinel #2: 20838:X 22 Oct 01:44:53.489 * +fix-slave-config slave XXX.XXX.XXX.177:6379 XXX.XXX.XXX.177 6379 @ shard-172 XXX.XXX.XXX.244 6379

这是 SENTINEL MASTERS 命令的输出。奇怪的是，shard-188 有两个从属，而实际上它应该只有 1 个。当 XXX.XXX.XXX.177 在 shard-172 和 shard-182 下时，输出看起来是一样的。

案例 1)XXX.XXX.XXX.244 是 XXX.XXX.XXX.177 的主人

183)  1) "name"
      2) "shard-172"
      3) "ip"
      4) "XXX.XXX.XXX.244"
      5) "port"
      6) "6379"
      7) "runid"
      8) "ca02da1f0002a25a880e6765aed306b1857ae2f7"
      9) "flags"
     10) "master"
     11) "pending-commands"
     12) "0"
     13) "last-ping-sent"
     14) "0"
     15) "last-ok-ping-reply"
     16) "14"
     17) "last-ping-reply"
     18) "14"
     19) "down-after-milliseconds"
     20) "30000"
     21) "info-refresh"
     22) "5636"
     23) "role-reported"
     24) "master"
     25) "role-reported-time"
     26) "17154406"
     27) "config-epoch"
     28) "0"
     29) "num-slaves"
     30) "1"
     31) "num-other-sentinels"
     32) "12"
     33) "quorum"
     34) "7"
     35) "failover-timeout"
     36) "60000"
     37) "parallel-syncs"
     38) "1"
72)  1) "name"
      2) "shard-188"
      3) "ip"
      4) "XXX.XXX.XXX.96"
      5) "port"
      6) "6379"
      7) "runid"
      8) "95cd3a457ef71fc91ff1a1c5a6d5d4496b266167"
      9) "flags"
     10) "master"
     11) "pending-commands"
     12) "0"
     13) "last-ping-sent"
     14) "0"
     15) "last-ok-ping-reply"
     16) "927"
     17) "last-ping-reply"
     18) "927"
     19) "down-after-milliseconds"
     20) "30000"
     21) "info-refresh"
     22) "5333"
     23) "role-reported"
     24) "master"
     25) "role-reported-time"
     26) "17154312"
     27) "config-epoch"
     28) "0"
     29) "num-slaves"
     30) "2"
     31) "num-other-sentinels"
     32) "12"
     33) "quorum"
     34) "7"
     35) "failover-timeout"
     36) "60000"
     37) "parallel-syncs"
     38) "1"

案例 2)XXX.XXX.XXX.96 是 XXX.XXX.XXX.177 的主人

79)  1) "name"
      2) "shard-172"
      3) "ip"
      4) "XXX.XXX.XXX.244"
      5) "port"
      6) "6379"
      7) "runid"
      8) "ca02da1f0002a25a880e6765aed306b1857ae2f7"
      9) "flags"
     10) "master"
     11) "pending-commands"
     12) "0"
     13) "last-ping-sent"
     14) "0"
     15) "last-ok-ping-reply"
     16) "1012"
     17) "last-ping-reply"
     18) "1012"
     19) "down-after-milliseconds"
     20) "30000"
     21) "info-refresh"
     22) "1261"
     23) "role-reported"
     24) "master"
     25) "role-reported-time"
     26) "17059720"
     27) "config-epoch"
     28) "0"
     29) "num-slaves"
     30) "1"
     31) "num-other-sentinels"
     32) "12"
     33) "quorum"
     34) "7"
     35) "failover-timeout"
     36) "60000"
     37) "parallel-syncs"
     38) "1"
273)  1) "name"
      2) "shard-188"
      3) "ip"
      4) "XXX.XXX.XXX.96"
      5) "port"
      6) "6379"
      7) "runid"
      8) "95cd3a457ef71fc91ff1a1c5a6d5d4496b266167"
      9) "flags"
     10) "master"
     11) "pending-commands"
     12) "0"
     13) "last-ping-sent"
     14) "0"
     15) "last-ok-ping-reply"
     16) "886"
     17) "last-ping-reply"
     18) "886"
     19) "down-after-milliseconds"
     20) "30000"
     21) "info-refresh"
     22) "5762"
     23) "role-reported"
     24) "master"
     25) "role-reported-time"
     26) "17059758"
     27) "config-epoch"
     28) "0"
     29) "num-slaves"
     30) "2"
     31) "num-other-sentinels"
     32) "12"
     33) "quorum"
     34) "7"
     35) "failover-timeout"
     36) "60000"
     37) "parallel-syncs"
     38) "1"

每个哨兵的起始 sentinel.conf 是

maxclients 20000
loglevel notice
logfile "/home/redis/logs/sentinel.log"
sentinel monitor shard-172 redis-b-172  7
sentinel down-after-milliseconds shard-172 30000
sentinel failover-timeout shard-172 60000
sentinel parallel-syncs shard-172 1
....
sentinel monitor shard-188 redis-b-188  7
sentinel down-after-milliseconds shard-188 30000
sentinel failover-timeout shard-188 60000
sentinel parallel-syncs shard-188 1

这是几分钟后生成的 sentinel.conf(针对所有哨兵)——注意两个从属:

sentinel monitor shard-172 XXX.XXX.XXX.244 6379 7
sentinel failover-timeout shard-172 60000
sentinel config-epoch shard-172 0
sentinel leader-epoch shard-172 0
sentinel known-slave shard-172 XXX.XXX.XXX.177 6379 <--- True slave of shard-172
sentinel known-sentinel shard-172 ...
...
sentinel monitor shard-188 XXX.XXX.XXX.96 6379 7
sentinel failover-timeout shard-188 60000
sentinel config-epoch shard-188 0
sentinel leader-epoch shard-188 0
sentinel known-slave shard-188 XXX.XXX.XXX.194 6379 <--- True slave of shard-188
sentinel known-slave shard-188 XXX.XXX.XXX.177 6379
sentinel known-sentinel shard-188 ...

最佳答案

这就是我所说的“ Ant 问题”:你有两个(或更多)pod(主+从)混合在一起。当您显示您的一个 pod 有多个从属时，您就表明了这一点。

具体来说:

Here's the output of the SENTINEL MASTERS command. The strange thing is that shard-188 has two slaves, when in fact it should only have 1.

你需要做的是:

通过 sentinel remove shard-NNN
将那些 slave 所在的 pod 放下
正确配置它们(正确的 slaveof 命令/配置)
让他们重新上线
确保他们每个人只有一个正确的奴隶
通过 sentinel monitor ...

现在从技术上讲，您可以使用 sentinel reset 命令，但您将面临潜在的计时问题，因此从 Sentinel 中删除它们是必经之路。您可以选择离开主/从并简单地适本地重新配置从属。如果您走那条路线，请等待几分钟并在进入第 6 步之前检查从属列表。

关于Redis Sentinel 和 fix-slave-config : Redis node is getting set as slave of two masters when it should not be，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33272150/

文章推荐： node.js - 与 radislabs memcached 云的紧密连接

文章推荐： heroku - 如何找到 Heroku 的 Redis 附加版本的版本？

文章推荐： redis - 按特定值对 Redis 记录进行排序

文章推荐： php - 从 php 调用外部 Web API 的最佳方式

node.js - Node 检查器无法连接到 Node
我用运行 Node node --debug app OR node --debug-brk app 它有反应 debugger listening on port 5858 Express serv
c++ - struct node* node 和 struct node *node 有什么区别？
这个问题在这里已经有了答案: What is the difference between (int *i) and (int* i) in context of both C and C++? [
node.js - 如果结束 Node 存在则创建 Node 和关系(否则仅创建第一个 Node )
我有一个应用程序，它通过消息队列将数据库写入命令分派(dispatch)给工作人员(数量非常大)，因此无法保证它们的接收顺序。我有两个 Node ，例如“Account”和“Media”。在此假设的
node.js - ts-node 将选项传递给 Node
有没有办法在调用 ts-node 时将选项传递给 Node ？我正在尝试在 Node 中使用一个实验性功能，如果它能与 ts-node 一起使用，那就太好了。这就是我目前正在做的事情: ts-nod
node.js - Node 进程和跨多个 Node 的复制
我有一个容器化的Node应用程序，它在DigitalOcean服务器上运行。当我更新服务器上的应用程序时，该应用程序必须关闭一小段时间。为了能够更新应用程序并避免停机，我目前正在阅读零停机时间部署/蓝
node.js - Node - 如何使用 Node 中的回调处理未捕获的异常？
我正在编写一个 Node.js 应用程序。我正在使用 request 和 Cheerio 加载一组 URL 并获取该网站的大量信息，现在假设我想要获取的只是标题: var urls = {"url_1
node.js - Node 模块安装错误(Node.js)
如果不弹出以下错误，我无法安装任何 Node.js 模块。错误代码引用package.json文件。如果知道为什么会发生这种情况，我们将不胜感激。最佳答案这些不是错误，它们只是警告。一切都应该如此
node.js - Node 主管未启动我的 Node 服务器
如果我运行(从我的项目目录中): supervisor javascripts/index.js 我得到:/usr/bin/env: Node :没有这样的文件或目录如果我运行: node java
node.js - Node 检查器未显示我的 Node 应用程序
我已遵循使用 Node-Inspector 的所有步骤但是当我打开应用程序时，我在控制台上看不到任何脚本或日志。我的应用程序在端口 4000 上运行。我认为唯一可能发生冲突的是端口 8080 上的
node.js - Rxjava2如何简洁地将结果从前一个 Node 返回到链中的下一个 Node
我在android中使用rxjava2，有时会遇到这样的问题: Observable.fromArray( // maybe a list about photo url in SD
node.js - Node 光纤会破坏 Node 域吗？
我目前正在使用 Node 光纤来编写同步服务器端代码。我主要通过 try-catch block 进行错误处理，但外部库或其他小部分异步代码中总是有可能发生错误。我正在考虑使用新的域功能来尝试将这些错
node.js - Node 调试和 Node 检查器有什么区别？
看起来node-debug是node-inspector周围的一个shell？分别什么时候应该使用？最佳答案如果您安装node-debug，您只能访问node-debug命令。如果您安装node
node.js - 如何告诉 node-gyp/node-sass 我已经有了我的 Node header ？
我目前正在代理后面工作，该代理不允许我执行此命令的 HTTP GET 请求阶段: Node node-sass/scripts/build.js 请求阶段: gyp http GET https://
node.js - node js Node js代码对客户端可见吗
听说node js可以用在服务端。我以前用过jsp。 jsp页面内部的java代码对客户端是不可见的。如果 Node js 只是 javascript，那么它如何对客户端不可见？最佳答案首先，No
node.js - node-gyp build 如何在构建 Node 扩展时指定目标 Node 版本
我正在为 Node native 插件从 node-waf 构建迁移到 node-gyp 构建系统。 node-gyp 说它支持多个目标版本，但我在使用 node-gyp 时找不到如何指定目标 Nod
drupal - 如何在主题 ('node' 、 $node) 和 drupal_render($node->content) 之间决定程序化 $node 输出
给定一个 $node ，我正在尝试在以下两种输出该 $node 的方式之间做出决定。要么 $output = theme('node', $node); 或 node_build_content($
node.js - 在nw.js(node-webkit)中，node-main : node. js如何访问任何窗口？
如果package.json中的窗口A打开一个新窗口B，node-main如何访问它？这是我的代码: package.json { "main": "index.html",
javascript - 无法在 'insertBefore' : The node before which the new node is to be inserted is not a child of this node 上执行 'Node'
我试图在我的 xml 中的特定节点 ( ) 之前插入一个注释节点。这是它的方法: function test(xmlResponse) { var parser = new DOMParse
node.js - Node 版本管理器不会更改 Ubuntu 中的 Node 版本。卡在系统 Node 版本上。如何使用 nvm 更改 Node 版本？
我正在尝试做npm install wrtc使用 Node 版本 16.14.0 但这还没有完成。它在给npm error code 1所以我试图将 Node 版本更改为以前的 lts 14.19.0
node.js - DeprecationWarning : 'node --debug' and 'node --debug-brk' are invalid. 请使用 'node --inspect or ' Node --inspect-brk' 代替
当我在 Visual Studio 中运行 Node.js 应用程序时，我收到以下消息:DeprecationWarning: 'node --debug' 和 'node --debug-brk'

可可西里

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

Redis Sentinel 和 fix-slave-config : Redis node is getting set as slave of two masters when it should not be