个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
27
4
摘要： 虽然网卡是接入RoCE网络，但其实问题本身是单纯路由相关的，所以看的时候，不用关注RoCE，只当做一个独立子网就行了
本文分享自华为云社区《 <跟唐老师学习云网络> - RoCE多网卡时，报文可以过去，但是回不来 》，作者： tsjsdbd .
一台机子，接入2个子网，一个普通通信的，一个高速通信的。并且接入高速通信子网，有8张网卡。如下图:
本文描述的问题，只关注高速子网这一部分。为帮助理解问题，网络可以简化为:
每个网卡，都有分配该子网的一个IP。如下:
A只能通B里面的一个IP，其余7个IP都不通。下图为A--->B 的结果:
图示：只有1个IP能通 。
反过来也一样，后面只讲一个方向的（A-->B）.
如果都不能到B，说明网络接的有问题。如果到了B，但是不回来，说明路由配置可能有问题.
Ping不通的ip（228）时，在主机B上面进行抓包分析（228对应的网卡名是enp80s0f0，所以这里监听这个网卡）:
tcpdump -i enp80s0f0 -
n arp
listening on enp80s0f0, link
-type EN10MB (Ethernet), capture size
262144
bytes
17
:
02
:
23.720556
ARP, Request who-has
29.28
.
195.228
tell
29.28
.
204.80
, length
46
17
:
02
:
24.758954
ARP, Request who-has
29.28
.
195.228
tell
29.28
.
204.80
, length
46
17
:
02
:
25.782954
ARP, Request who-has
29.28
.
195.228
tell
29.28
.
204.80
, length
46
17
:
02
:
26.807063
ARP, Request who-has
29.28
.
195.228
tell
29.28
.
204.80
, length
46
^C
可以看到，报文能到B.
于是我们来看看，当B要给A回消息时，路由怎么走的?
查看路由表:
ip route
default
via
192.168
.
0.1
dev enp218s0 proto dhcp metric
104
29.28
.
192.0
/
20
dev enp137s0f1 proto kernel scope link src
29.28
.
201.211
metric
105
29.28
.
192.0
/
20
dev enp137s0f0 proto kernel scope link src
29.28
.
193.28
metric
106
29.28
.
192.0
/
20
dev enp80s0f1 proto kernel scope link src
29.28
.
204.230
metric
107
29.28
.
192.0
/
20
dev enp106s0f0 proto kernel scope link src
29.28
.
194.199
metric
108
29.28
.
192.0
/
20
dev enp106s0f1 proto kernel scope link src
29.28
.
195.31
metric
109
29.28
.
192.0
/
20
dev enp80s0f0 proto kernel scope link src
29.28
.
195.228
metric
110
29.28
.
192.0
/
20
dev enp234s0f1 proto kernel scope link src
29.28
.
197.165
metric
111
29.28
.
192.0
/
20
dev enp234s0f0 proto kernel scope link src
29.28
.
195.75
metric
112
根据以前学的router知识，可以看到，（排除default路由外）应该是会匹配到 第1条（标红）规则.
注：metric表示路由代价，目的子网都匹配的情况下，会选代价最低的那一条.
即 B-->A给A回消息时，报文要从 网卡enp137s0f1 发出去，并且发出去的报文源地址要设为29.28.201.211.
难怪不通，因为答非所问了嘛（回arp报文，内容对不上）.
再看为什么211这个ip能通?
因为 211 是该子网路由选择，所对应的IP，所以刚好能通.
这就解释了为什么刚好1个IP能通，另外7个不通.
往外发报文，根据源地址来选择网卡（注意这里的源是指 主机B，因为回报文是往外发），这种场景可以称之为「源地址路由」，而要实现源地址路由，就需要用到「ip rule 路由策略」这种高级路由配置.
在配置「源地址路由」规则前，我们需要先补充一点基础知识.
以前我们学的 route -n 路由表，其实属于“新手村”，即系统默认使用这张路由规则表。但就像《剑来》里面说的那样，在新手村外还有很多其他“境界”。Linux新版本（2.x之后）为实现更复杂的路由能力，将原来的“新手村”，复制了很多的“副本”.
Ps：这种增加“副本”的思路，在咱们IT领域非常常见，比如我们之前学到的各种namespace.
当前系统总的“副本”数量，在 /etc/iproute2/rt_tables 这个文件中.
255
local
254
main
253
default
0
unspec
我们之前学的 route -n 新手村表，就是其中的 254 这个副本号，名字叫做 main.
要增加副本，可以如下这么操作:
echo
"
$id $table
"
>> /etc/iproute2/rt_tables
就行了.
为了确认使用哪个“副本”，在前面补了一个 rule 规则.
条件基本就是：源IP，目的地址，收到网口这些.
具体见： https://www.computerhope.com/unix/ip.htm 。
所以现在流程变成了:
比如，我们希望某个源IP为 29.28.201.211 的报文，走独立的“路由副本”策略:
echo
"
200 table0
"
>> /etc/iproute2/rt_tables
ip rule add
from
29.28
.
201.211
table table0
ip route add
29.28
.
192.0
/
20
dev eth0 table table0
ip route show table table0
29.28
.
192.0
/
20
dev eth0 scope link
这样，我们就可以控制更复杂的路由规则了.
在知道路由表可以有很多“副本”之后，我们再回头看看原来那个“新手村”.
从 /etc/iproute2/rt_tables 文件内容可以知道，咱们“新手村”对应的那个路标表名字叫做main.
所以查询这个表的内容:
root@tsjsdbd:/
# ip route show table main
default
via
172.17
.
0.1
dev eth0
172.17
.
0.0
/
16
dev eth0 proto kernel scope link src
172.17
.
0.2
这个和我们平时看到的路由，是一样的:
root@tsjsdbd:/
# ip route
default
via
172.17
.
0.1
dev eth0
172.17
.
0.0
/
16
dev eth0 proto kernel scope link src
172.17
.
0.2
也就是，我们平时敲的 route -n 看到的列表，其实就是 main 这张表里面的内容.
其余表（0-local，253-default，255-local）的内容，一般不用关注.
在rule规则表里面，很多记录的时候，匹配优先级是怎么定的？答案是每一条记录，它有个优先级的字段。如下:
[root@tsjsdbd]# ip rule
0
:
from
all lookup local
32766
:
from
all lookup main
32767
:
from
all lookup
default
最前面的数字，就是优先级。数字越小，优先级越高，也就是会先进行匹配，同时也代表这条规则可以排的更靠前.
在 rule add 添加规则的时候，是可以指定“优先级的”。如:
ip rule add
from
192.168
.
1.0
/
24
table table0 pri
333
就可以指定 。
在不指定优先级的情况下，会默认加到当前最小值前面（即，不指定优先值时，会加一条优先级较高的rule）.
如下:
[root@tsjsdbd]# ip rule add
from
192.168
.
1.0
/
24
table table0 pri
333
上面这条会加一条333优先级的rule 。
[root@tsjsdbd]# ip rule add
from
192.168
.
2.0
/
24
table table0
这条没指定优先级，就会加一条优先级332的（因为当前rule里面最小的是333）.
可以查询确认:
[root@tsjsdbd]# ip rule
0
:
from
all lookup local
332
:
from
192.168
.
2.0
/
24
lookup table0
333
:
from
192.168
.
1.0
/
24
lookup table0
32766
:
from
all lookup main
32767
:
from
all lookup
default
删除rule的话，有几种便捷的指定方式：（优先级、条件、table） 。
ip rule del pri
333
ip rule del
from
192.168
.
2.0
/
24
ip rule del table table0
最后注意，添加或修改了rule规则后，不会立即生效，需要 ip route flush cache 后才生效（官方文档是这么说的，自己验证的时候注意下就行）.
再回到问题上来，8个网卡，哪个口收到，要求使用该口的ip回去。可以通过8个路由table实现（因为大家的目标网段是一样的，所以在同一个table表里面话，不好写规则）.
于是，可以把8个路由规则，分散到8个“世界”中，然后通过 rule 分散后，各自进行匹配.
事实上，「源地址路由」的实现，一般都是这种套路:
ip rule add
from
192.168
.
1.2
table
100
ip route add
172.25
.
2.0
/
24
via
192.168
.
1.5
table
100
最终解决8个RoCE网卡可以互通的路由设置如下:
/root # cat /etc/iproute2/
rt_tables
200
table0
201
table1
202
table2
203
table3
204
table4
205
table5
206
table6
207
table7
/
root # ip rule
0
:
from
all lookup local
32758
:
from
29.28
.
197.165
lookup table7
32759
:
from
29.28
.
195.75
lookup table6
32760
:
from
29.28
.
201.211
lookup table5
32761
:
from
29.28
.
193.28
lookup table4
32762
:
from
29.28
.
195.31
lookup table3
32763
:
from
29.28
.
194.199
lookup table2
32764
:
from
29.28
.
204.230
lookup table1
32765
:
from
29.28
.
195.228
lookup table0
32766
:
from
all lookup main
32767
:
from
all lookup
default
/
root # ip route show table table5
29.28
.
192.0
/
20
dev enp137s0f1 scope link src
29.28
.
201.211
以上3步行为，通过一个脚本来完成.
最后我们来看看，网络有问题的时候，与设置完「源地址路由」后的区别:
查询“以xx为源ip，以yy为目的ip，路由选择结果是什么”方式， 。
可以使用ip route get 命令.
设置前:
# ip route
get
29.28
.
204.80
from
29.28
.
201.211
29.28
.
204.80
from
29.28
.
201.211
dev enp137s0f0 uid
0
设置后:
# ip route
get
29.28
.
204.80
from
29.28
.
201.211
29.28
.
204.80
from
29.28
.
201.211
dev enp137s0f1 table table5 uid
0
可以看到，是按照我们的目标“哪个口来，哪个口回去”的方式运行的.
注：虽然网卡是接入RoCE网络，但其实问题本身是单纯路由相关的，所以看的时候，不用关注RoCE，只当做一个独立子网就行了.
。
点击关注，第一时间了解华为云新鲜技术~ 。
最后此篇关于RoCE多网卡时，报文可以过去，但是回不来的文章就讲到这里了,如果你想了解更多关于RoCE多网卡时，报文可以过去，但是回不来的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
我是一名优秀的程序员,十分优秀！