python - 为什么我得到的是 "ق"而不是 "fi"？

Question

我从文档中提取文本，我注意到文本中有一些未知字符，例如:

"An adversary modiقes the aggregation result"

很明显 ق 不是真正的字符，应该替换为“fi”——还有其他类似的例子。

我可以使用 python 将这些字符替换为正确的英文字符吗？

我编写了以下代码来从 pdf 文件中提取和解码文本流:

import zlib

file = open ("PDF_File.pdf"."rb").read()  # read pdf file
objectPDF = re.findall('(\d+ \d+ obj.+?endobj)',file , re.DOTALL) # extract pdf 
                                                                   # objects
for item in objectPDF :
    pdfstreams = re.findall('stream(.*?)endstream',item  , re.DOTALL) # extract text 
                                                                      # stream 
                                                                      # encoded by                     
                                                                   # flatedecode filter
for item in pdfstreams :                                          
    buffer = item  
    decomp = zlib.decompress(buffer)   # decode each stream
    pdf_txt = open("Txt_PDF.txt","w")  
    pdf_txt .write(decomp)             # write the text to file
    pdf_txt .close()

Answer 1

你有一个编码错误:

>>> print u"modiقes".encode("cp1256").decode("mac_roman")
modifies

请注意，有问题的字符不是对字符对 fi 进行修饰的结果，而是对单个字符 fi ( U+FB01 'LATIN SMALL LIGATURE FI' ) 进行修饰的结果。

如果没有看到您的代码，就不可能确切地说这是怎么发生的，但归结为:您试图解码 Mac OS Roman文本为 Windows 1256 .如果您停止这样做，问题就应该停止。