python - 如何转换包含在 HTML 链接中的 Unicode？

Question

我有以下 HTML 代码:

<a href="http://&#65346;&#65345;&#65348;&#65294;&#65347;&#65359;&#65357;">Bad URL</a>

这是一个字符串 \uff42\uff41\uff44\uff0e\uff43\uff4f\uff4d 这两个Chrome 和 Firefox 认为 http://ｂａｄ．ｃｏｍ与http://bad.com相同.

我需要将收集到的 URL 与列入白名单的 URL 列表进行比较。

如何转换 http://ｂａｄ．ｃｏｍ至 http://bad.com使用 Python？浏览器会替换“容易混淆”的字符吗？

或者是否可以比较两个 URL？

Answer 1

您可以使用 unicodedata :

import unicodedata

link = 'http://ｂａｄ．ｃｏｍ'
normalized = unicodedata.normalize('NFKC', link)

什么是 'NFKC' 你可以在 official docs 中找到.