ceph - 有人能解释一下 Ceph CRUSH 映射中奇怪的剩余 OSD 设备——从 osd.N 重命名为 deviceN 吗？

Question

不久前，我们从 Ceph 集群中删除了两个损坏的 OSD，osd.0 和 osd.8。它们现在从大多数 Ceph 命令中消失了，但仍然以奇怪的设备名称出现在 CRUSH 映射中:

# devices
device 0 device0  <-----
device 1 osd.1
device 2 osd.2
device 3 osd.3
device 4 osd.4
device 5 osd.5
device 6 osd.6
device 7 osd.7
device 8 device8  <-----
device 9 osd.9

有人可以解释为什么 device0 和 device8 仍然存在，如果它们对集群有任何影响，以及我们是否应该删除它们？

device0 和 device8 不会出现在 CRUSH map 中的任何其他地方。

我们在这里使用了网站上的程序:

http://docs.ceph.com/docs/jewel/rados/operations/add-or-rm-osds/#removing-osds-manual

基本上:

ceph osd crush remove 8
ceph auth del osd.8
ceph osd rm 8

我主要是问，因为我们正在处理一些卡住的 PG(不完整)，这些 PG 仍在各个地方引用 id“8”。想知道这是否相关？

否则，“ceph osd 树”看起来像我所期望的(没有 osd.8 和 osd.0):

djakubiec@dev:~$ ceph osd tree
ID WEIGHT   TYPE NAME       UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 58.19960 root default
-2  7.27489     host node24
 1  7.27489         osd.1        up  1.00000          1.00000
-3  7.27489     host node25
 2  7.27489         osd.2        up  1.00000          1.00000
-4  7.27489     host node26
 3  7.27489         osd.3        up  1.00000          1.00000
-5  7.27489     host node27
 4  7.27489         osd.4        up  1.00000          1.00000
-6  7.27489     host node28
 5  7.27489         osd.5        up  1.00000          1.00000
-7  7.27489     host node29
 6  7.27489         osd.6        up  1.00000          1.00000
-8  7.27539     host node30
 9  7.27539         osd.9        up  1.00000          1.00000
-9  7.27489     host node31
 7  7.27489         osd.7        up  1.00000          1.00000

谢谢，

——丹

Answer 1

我在节点故障后遇到了同样的问题，并通过从挤压图中手动删除额外的设备来解决它。我已经使用标准程序删除了 osds 和失败的节点，但是由于某种原因，我的暗恋 map 中留下了幽灵设备。

导出粉碎贴图并进行编辑:

~# ceph osd getcrushmap -o /tmp/crushmap
~# crushtool -d /tmp/crushmap -o crush_map
~# vi crush_map

这是我的暗恋 map 的设备部分之前的样子:

# devices
device 0 osd.0
device 1 device1
device 2 osd.2
device 3 osd.3
device 4 device4
device 5 osd.5
device 6 osd.6
device 7 osd.7

我把它改成了这个——注意我必须重新编号，而不仅仅是删除多余的行。

# devices
device 0 osd.0
device 1 osd.2
device 2 osd.3
device 3 osd.5
device 4 osd.6
device 5 osd.7

然后，重新编译粉碎图并应用它:

~# crushtool -c crush_map -o /tmp/crushmap
~# ceph osd setcrushmap -i /tmp/crushmap

这再次启动了恢复过程，幽灵设备现在消失了。