linux tc,u32过滤奇怪错误

Question

请在问题中告诉我。我正在基于 CentOS x86_64 构建流量整形器，Linux 版本 2.6.32-431.3.1.el6.x86_64。所以，它有大约 10 个 u32 哈希表，所有的除数都是 256。在默认表 800 中，我对第 3 个八位字节进行哈希处理，并将数据包指向其中一个表，然后对第 4 个八位字节进行哈希处理，并将数据包指向描述每个用户带宽限制的类。因此，对于每个 IP 地址，都有一个相应的 tc 类。我们打算创建大约 3000 个 IP 地址。当我的脚本将此 IP 添加到哈希表中时，出现错误:RTNETLINK answers: File exists。更多代码在这里:

tc qdisc add dev $inet root handle 2: htb default 8000
tc class add dev $inet parent 2: classid 2:6000 htb rate 100mbit

#this hash-tables are for subnets
for i in {901..912}; do
tc filter add dev $inet parent 2: handle $i: protocol ip u32 divisor 256
done
#adding filters for packet classifying
tc filter add dev $inet protocol ip parent 2: u32 ht 800:: match ip src 172.16.16.0/20 hashkey mask 0x0000ff00 at 12 link 901:
tc filter add dev $inet protocol ip parent 2: u32 ht 901:11: match ip src 172.16.17.0/24 hashkey mask 0x000000ff at 12 link 902:
tc filter add dev $inet protocol ip parent 2: u32 ht 901:12: match ip src 172.16.18.0/24 hashkey mask 0x000000ff at 12 link 903:
#...
#and so on under "link 912:"

#creating classes for every host, place it under root class 2: (100mb for all)
for i in {1..2815}; do tc class add dev $inet parent 2:6000 classid 2:$i htb rate 1mbit ceil 6mbit; done

#place each host in corresponding u32 table
for i in {1..255}; do printf -v hi "%x" "$i";
tc filter add dev $inet protocol ip parent 2: u32 ht 902:$hi: match ip src 172.16.17.$i flowid 2:$i
done
for i in {256..511}; do let j="i-256"; printf -v hi "%x" "$j";
tc filter add dev $inet protocol ip parent 2: u32 ht 903:$hi: match ip src 172.16.18.$j flowid 2:$i
done
#....
#and so on under 2815 hosts

在命令结束后的某处

tc filter add dev eth0 protocol ip parent 2: u32 ht 909:dc: match ip src 172.16.24.220 flowid 2:2012
RTNETLINK answers: File exists
We have an error talking to the kernel

我无法解决这个问题，我以为Linux内核中有过滤器数量限制，但有人告诉我这不是真的，根本没有限制。没有重用 flowid，也没有哈希表句柄发生超限。还有什么可能导致代码中出现此错误？

Answer 1

我用另外两个内核重现了这个问题；现代的 Ubuntu 12.04 3.5.0-39-generic x86_64 内核和旧的 Fedora 2.6.33.3-85 i686 内核。它们都存在。

这里有一些 u32 过滤器文档:http://ace-host.stuart.id.au/russell/files/tc/doc/cls_u32.txt建议过滤器句柄的最后一部分，过滤器项目，应该上升到十六进制 0xFFF，即 4096(例如 901:0:0 到 901:0:FFF)。当您手动添加过滤器时，情况就是如此。但是，当您使用哈希添加过滤器时，您指定了哈希表和存储桶，但过滤器 ID 是自动创建的。

麻烦的是，自动创建的过滤器项是从 800 开始的，这意味着您实际上只能使用 0x800 到 0xFFE 过滤器(总共 2048 个)。

您会认为您可以为每添加 2048 个过滤器切换哈希表，就像您在示例中所做的那样，但事实并非如此 - 它仍然只允许您在哈希时总共添加 2048 个过滤器。我不确定此行为是错误、限制还是设计使然。

要解决此问题，您可以通过将过滤器项 ID 放在 u32 过滤器声明之前手动指定过滤器项 ID，它必须具有零哈希表和存储桶 ID。这将允许您添加完整的 4096 个过滤器，其中涵盖了您的子网声明。它似乎还允许为每个哈希表添加 4096 个过滤器，因此您可以通过链接到另一个哈希表来添加更多过滤器。脚本的最后一部分需要像这样:

#place each host in corresponding u32 table
for i in {1..255}; do
  printf -v hi "%x" "$i";
  tc filter add dev $inet protocol ip parent 2: handle ::$hi u32 ht 902:$hi: match ip src 172.16.17.$i flowid 2:$i
done

for i in {256..511}; do 
  let j="i-256"; 
  printf -v hi "%x" "$i";
  printf -v hj "%x" "$j";
  tc filter add dev $inet protocol ip parent 2: handle ::$hi u32 ht 903:$hj: match ip src 172.16.18.$j flowid 2:$i
done
#....
#and so on under 2815 hosts

这是我测试过的代码，它与您的代码相同，但我对其进行了重组以仅使用一个哈希表。它应该具有相同的效率。它仅在最后一个八位字节上散列到所需的桶，然后顺序匹配桶内的过滤器，而不是顺序匹配并链接到子网，然后散列到一个桶。

#!/bin/bash

inet='eth0'

# Delete any existing traffic shaping
tc qdisc del dev $inet root
tc qdisc add dev $inet root handle 2: htb default 8000
tc class add dev $inet parent 2: classid 2:6000 htb rate 100mbit

# Create a single hash table (901) with 256 buckets
tc filter add dev $inet parent 2: handle 901: protocol ip u32 divisor 256

# Direct traffic from 172.16.16.0 - 172.16.31.255 to link 901, hash on last octet of src ip 
tc filter add dev $inet protocol ip parent 2: u32 ht 800:: match ip src 172.16.16.0/20 hashkey mask 0x000000ff at 12 link 901:

# Create classes for each host, place it under root class 2: (100mb for all)
for i in {1..2815}; do
    hex_handle=$(echo "obase=16; $i" | bc)
    tc class add dev $inet parent 2:6000 classid 2:$hex_handle htb rate 1mbit ceil 6mbit || exit 1;
done

# Add filters for each possible host
for y in {16..27}; do
    for x in {1..255}; do
        j=$(( (($y - 16) * 255) + $x ));
        hex_bucket=$(echo "obase=16; $x" | bc)
        hex_handle=$(echo "obase=16; $j" | bc)
        tc filter add dev $inet protocol ip parent 2: handle ::$hex_handle u32 ht 901:$hex_bucket match ip src 172.16.$y.$x flowid 2:$hex_handle || exit 1;
    done
done