c++ - 使用 UTF-8 在非 ASCII 字符上运行 Ascii 正则表达式

Question

#include <boost/regex.hpp>

#include <string>
#include <vector>
#include <iostream>

int main(int argc, char* argv[]) {

    std::string text = argv[1];
    std::string patterns = argv[2];

    boost::regex regex = boost::regex(patterns);

    boost::smatch match;

    std::cout << boost::regex_search(text, match, regex) << std::endl;    
}

如果我通过输入 hello¿ ¿ 运行程序(包含使用 UTF-8 编码的非 ASCII 字符)，它将返回 0 即未找到，但如果我在输入 hel√ √(同样包含非 ascii)上运行它，它返回 1，即找到。

我的问题:boost::regex(即 ascii 版本)在 utf 字符上运行时的预期行为是什么？

---

编辑:感谢所有评论，我仍然对为什么输出 1 很感兴趣，因为文本和正则表达式都包含非 ascii 字符。我的猜测是字节被解释为 ascii，因此它们匹配。

Answer 1

1. 在 ASCII 字符串上使用正则表达式，就是使用“字节”来查找其中的模式。
   在 UTF-8 字符串上使用正则表达式，就是在“多字节”序列上使用正则表达式，其中一个序列代表一个 Unicode 代码点。
   
   因此，正则表达式适用于 Unicode 字符串，其编码具有每个字符的可变字节数。
   
   UTF-8 字符串包含 1 到 4 个字节的多字节序列，代表一个 Unicode“字符”。在 UTF-8 中，只有 ASCII 7 位字符是 1 个字节的“宽”。
   
   所以 - 在 UTF-8 编码字符串上使用 ASCII 正则表达式引擎，忽略 UTF-8 编码字符串中的多字节序列并导致模式匹配字节字节。此 ASCII 正则表达式引擎对 UTF-8 编码字符串的使用结果无效。
   
   请看http://utfcpp.sourceforge.net .
   
   要使正则表达式适用于 UTF-8 编码的字符串，您必须……
   

   • 拥有可用于正则表达式的 UTF-8 字符串迭代器，或者
   • 使用 std::codecvt_utf8 结合临时设置全局语言环境以使正则表达式正常工作，或者
   • 必须将 UTF-8 编码字符串转换为 UTF-16 编码字符串，以便与 Unicode 正则表达式引擎一起使用 - 基于 std::wstring。

2. regex_search 函数在匹配时返回一个 bool 值和 true。
   在您的情况下，ASCII 正则表达式模式匹配 UTF-8 编码字符串的一部分，该字符串被无效地解析为 ASCII 字符串 - 正如您所假设的那样!
   如果 UTF-8 编码字符串中有英文文本，则可以安全地使用 ASCII 正则表达式引擎。离开 ASCII 7 位范围，会使 ASCII 正则表达式引擎的结果不可靠。