python - 从 JSON 文件中读取阿拉伯语

Question

我想用 Python 读取包含阿拉伯文本的 JSON 文件，但阿拉伯文本看起来像这样:

ط§ظ„ط³ظژط¹ظژط§ط¯ظژط©ظگ ظ„ظژظٹظگط³ظژطھظŒ ط§ظ„ط­ظژطµظŒظˆظژظ„ظژ ط¹ظژظ„ظ‰ظژ 
ظ…ط§ظژ ظ„ط§ظ†ظژظ…ظ„ظگظƒظژ ط¨ظژظ„ ظ‡ظگظٹظژ ط£ظ†ظژ ظ†ظژظپظ‡ظŒظ…ظژ 
ظˆظژظ†ظگط¯ط±ظژظƒظژ ظ‚ظژظٹظگظ…ط©ظڈ ظ…ظژط§ظ†ظژظ…ظ„ظƒ 

我怎样才能读出正确的阿拉伯字母？

import sys
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)
print(x.translate(non_bmp_map))

x 是包含来自 JSON 文件的阿拉伯语值的参数。I expected to get this sentence :السَعَادَةِ لَيِسَتٌ الحَصٌوَلَ عَلىَ ماَ لانَملِكَ بَل هِيَ أنَ نَفهٌمَ وَنِدرَكَ قَيِمةُ مَانَملك but I get ط§ظ„ط³ظژط¹ظژط§ط¯ظژط©ظگ ظ„ظژظٹظگط³ظژطھظŒ ط§ظ„طظژطµظŒظˆظژظ„ظژ ط¹ظژظ„ظ‰ظژ ظ …ط ظ带

Answer 1

您没有提到您使用的是 Python 3 还是 2。在 Python 3 中，字符串默认为 unicode。

如果您使用 Python 2，请使用 codec:

import codecs
f = codecs.open('unicode.rst', encoding='utf-8')
for line in f:
    print repr(line)

引用:Unicode How-to

---

但是，您的输入数据可能未正确编码。在这种情况下，您可以尝试使用 ftfy package .

ftfy 实现了几种启发式方法来修复损坏/不一致的 unicode 编码。来自文档:

>>> from ftfy import fix_encoding
>>> print(fix_encoding("(ง'⌣')ง"))
(ง'⌣')ง