python删除奇怪的撇号和其他不在string.punctuation中的奇怪字符

Question

这个问题已经有答案了:

Remove punctuation from Unicode formatted strings (4 个回答)

已关闭 7 年前。

这是我的字符串:

mystring = "How’s it going?"

这就是我所做的:

import string
exclude = set(string.punctuation)

def strip_punctuations(mystring):
    for c in string.punctuation:
        new_string=''.join(ch for ch in mystring if ch not in exclude)
        new_string = chat_string.replace("\xe2\x80\x99","")
        new_string = chat_string.replace("\xc2\xa0\xc2\xa0","")
    return chat_string

输出:

如果我没有包含这一行 new_string = chat_string.replace("\xe2\x80\x99","")这将是输出:

 'How\xe2\x80\x99s it going'

我意识到排除列表中没有那个看起来很奇怪的撇号:

print set(exclude)
set(['!', '#', '"', '%', '$', "'", '&', ')', '(', '+', '*', '-', ',', '/', '.', ';', ':', '=', '<', '?', '>', '@', '[', ']', '\\', '_', '^', '`', '{', '}', '|', '~'])

如何确保所有此类字符都被删除，而不是将来手动替换它们？

Answer 1

如果您正在处理长文本，例如新闻文章或网页抓取，那么您可以使用“goose”或“NLTK”Python 库。这两个不是预安装的。以下是库的链接。 goose , NLTK

您可以浏览该文档并了解如何操作。

或者

如果您不想使用这些库，您可能需要手动创建自己的“排除”列表。