python - 替换python中的特殊字符

Question

我有一些来自网络的文本:

£6.49

显然我希望它显示为:

6.49 英镑

到目前为止，我已经尝试了以下方法:

s = url['title']
s = s.encode('utf8')
s = s.replace(u'Â','')

还有一些变体(在同一个论坛上找到它之后)

但还是没有运气，因为我不断得到:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 100: ordinal not in range(128)

谁能帮我解决这个问题？

更新:

添加repr示例和内容类型

u'Star Trek XI £3.99'
u'Oscar Winners Best Pictures Box Set \xc2\xa36.49'
Content-Type: text/html; charset=utf-8

提前致谢。

Answer 1

如果 s=url['title'] 使 s 等于:

In [48]: s=u'Oscar Winners Best Pictures Box Set \xc2\xa36.49'

那么问题来了

1. 在定义url的代码中，
2. 否则来自网络的内容是格式错误。

如果是情况 1，我们需要查看定义 url 的代码。

如果情况 2，一个快速而肮脏的解决方法是使用 raw-unicode-escape 编解码器对 unicode 对象 s 进行编码:

In [49]: print(s)
Oscar Winners Best Pictures Box Set £6.49

In [50]: print(s.encode('raw-unicode-escape'))
Oscar Winners Best Pictures Box Set £6.49

另见 SO question .

---

关于像 s=u'Star Trek XI £3.99' 这样的标题:同样，最好在问题到达这个阶段之前解决它——也许通过查看如何 url 已定义。但假设来自网络的内容格式错误，解决方法是:

In [86]: import re

In [87]: print(re.sub(r'&#x([a-fA-F\d]+);',lambda m: unichr(int(m.group(1),base=16)),s))
Star Trek XI £3.99

---

一点解释:

注意

In [51]: x=u'£'
In [53]: x.encode('utf-8')
Out[53]: '\xc2\xa3'

因此，使用 utf-8 编解码器编码的 unicode 对象 u'£' 成为字符串对象 '\xc2\xa3'。

不知何故，url['title'] 被定义为 unicode 对象u'\xc2\xa3'。 (u 有很大的不同!)

因此，当我们需要 '\xc2\xa3' 时，我们就有了 u'\xc2\xa3'。使用 raw-unicode-escape 编解码器对 unicode 对象 u'\xc2\xa3' 进行编码，将其转换为 '\xc2\xa3'。