python - 如何在 Python 的正则表达式中包含非 ascii 字符

Question

我有一个文本文件，我正在逐行阅读它。在每一行中，如果有特殊字符，那么我将删除特殊字符，为此，我使用了正则表达式的帮助。

fh = open(r"abc.txt","r+")
    data = fh.read()
    #print re.sub(r'\W+', '', data)
    new_str = re.sub('[^a-zA-Z0-9\n\.;,?!$]', ' ', data)

因此，在我的数据中，我只保留字母数字词和一些特殊符号 [.;,?!$]，但除此之外我还需要欧元符号 (€)、英镑 (£ )、日元 (¥) 和卢比符号 (₹)。但是这些不存在于 ASCII 字符中，所以当我将它们包含在我的正则表达式中时，例如 - re.sub('[^a-zA-Z0-9\n.;,?!$€₹¥]' , ' ', data) 它给出错误信息。语法错误:第 23 行文件 preprocess.py 中的非 ASCII 字符 '\xe2'，但未声明编码

Answer 1

您可以使用 Unicode character escapes .例如，Euro character上面可以表示为\u20ac。四位数字是 Unicode 编号，与编码类型无关。在示例正则表达式中，这可能看起来像:

[^a-zA-Z0-9\u20ac]