c++ - PVS-Studio 知道 Unicode 字符吗？

Question

此代码在带有 return 的行产生中等警告:

// Checks if the symbol defines two-symbols Unicode sequence
bool doubleSymbol(const char c) {
    static const char TWO_SYMBOLS_MASK = 0b110;
    return (c >> 5) == TWO_SYMBOLS_MASK;
}

// Checks if the symbol defines three-symbols Unicode sequence
bool tripleSymbol(const char c) {
    static const char THREE_SYMBOLS_MASK = 0b1110;
    return (c >> 4) == THREE_SYMBOLS_MASK;
}

// Checks if the symbol defines four-symbols Unicode sequence
bool quadrupleSymbol(const char c) {
    static const char FOUR_SYMBOLS_MASK = 0b11110;
    return (c >> 3) == FOUR_SYMBOLS_MASK;
}

PVS 表示表达式始终为假 (V547)，但实际上它们不是:char可能是读取到 std::string 的 Unicode 符号的一部分!这是符号的 Unicode 表示:
1 byte - 0xxx'xxxx - 7 bits
2 bytes - 110x'xxxx 10xx'xxxx - 11 bits
3 bytes - 1110'xxxx 10xx'xxxx 10xx'xxxx - 16 bits
4 bytes - 1111'0xxx 10xx'xxxx 10xx'xxxx 10xx'xxxx - 21 bits

以下代码计算 Unicode 文本中的符号数:

size_t symbolCount = 0;

std::string s;
while (getline(std::cin, s)) {
    for (size_t i = 0; i < s.size(); ++i) {
        const char c = s[i];
        ++symbolCount;
        if (doubleSymbol(c)) {
            i += 1;
        } else if (tripleSymbol(c)) {
            i += 2;
        } else if (quadrupleSymbol(c)) {
            i += 3;
        }
    }
}

std::cout << symbolCount << "\n";

对于 Hello!输入输出是6和 Привет, мир!是12 — 没错!

我错了还是 PVS 不知道什么？ ;)

Answer 1

PVS-Studio 分析器知道有signed 和unsigned char 类型。是否使用签名/未签名取决于编译 key ，PVS-Studio 分析器会考虑这些 key 。

我认为这段代码是编译的，当 char 是 signed char 类型时。让我们看看它会带来什么后果。

我们只看第一种情况:

bool doubleSymbol(const char c) {
    static const char TWO_SYMBOLS_MASK = 0b110;
    return (c >> 5) == TWO_SYMBOLS_MASK;
}

如果值变量 'c' 小于或等于 01111111，条件将始终为 false，因为在移位期间，您可以获得的最大值是 011。

这意味着我们只对变量'c'中的最高位等于1的情况感兴趣。由于这个变量是signed char类型，那么最高位意味着变量存储负值。移位前，signed char 变为 signed int，值继续为负。

现在让我们看看标准对负数右移的说法:

E1 >> E2 的值是 E1 右移 E2 位的位置。如果 E1 是无符号类型或者如果 E1 是有符号类型和非负值，则结果的值是 E1/2^E2 的商的整数部分。如果 E1 具有带符号类型和负值，则结果值是实现定义的。

因此，负数向左移动是实现定义的。这意味着最高位用空值或 1 填充。两者都是正确的。

PVS-Studio认为最高位用1填充。它完全有权利这么想，因为有必要选择任何实现。因此，如果变量“c”中的最高位最初等于 1，则表达式 ((c) >> 5) 将具有负值。负数不能等于 TWO_SYMBOLS_MASK。

事实证明，从 PVS-Studio 的角度来看，条件永远是假的，它正确地发出警告 V547。

在实践中，编译器可能会有不同的行为:最高位将被填充为 0，然后一切都会正常工作。

无论如何，有必要修复代码，因为它涉及到编译器的实现定义行为。

代码可能修复如下:

bool doubleSymbol(const unsigned char c) {
    static const char TWO_SYMBOLS_MASK = 0b110;
    return (c >> 5) == TWO_SYMBOLS_MASK;
}