python - 为什么字符 ID 160 在 PDFMiner 中不被识别为 Unicode？

Question

我正在使用 PDFMiner 将 .pdf 文件转换为 .xml 文件.

对于 .pdf 文件中的每个单词，PDFMiner 会检查它是否是 Unicode(以及许多其他内容)。如果是，则返回该字符，如果不是，则引发异常并返回字符串“(cid:%d)”，其中 %d 是字符 id，我认为它是 Unicode 十进制。

这个问题的编辑部分对此进行了很好的解释: What is this (cid:51) in the output of pdf2txt? 。为了方便起见，我在这里报告代码:

def render_char(self, matrix, font, fontsize, scaling, rise, cid):
    try:
        text = font.to_unichr(cid)
        assert isinstance(text, unicode), text
    except PDFUnicodeNotDefined:
        text = self.handle_undefined_char(font, cid)


def handle_undefined_char(self, font, cid):
    if self.debug:
        print >>sys.stderr, 'undefined: %r, %r' % (font, cid)
    return '(cid:%d)' % cid

对于用西里尔文编写的 .pdf 文件，我通常会遇到此异常。然而，有一个文件使用简单的英语，并且我在其中得到了不间断空格(cid = 160)的异常。我不明白为什么这个字符不被识别为 Unicode，而同一文件中的所有其他字符都是。

如果在相同的环境中，我在控制台中运行 isinstance(u'160', unicode) ，我会得到 True，而(显然)等效的命令是当它在 PDFMiner 中运行时返回 False。

如果我调试，我会看到字体被正确识别，即我得到:

cid = 160
font =  <PDFType1Font: basefont='Helvetica'>

PDFMiner 接受编解码器作为参数。我选择了 utf-8，其中 160 作为不间断空格的 Unicode 十进制 ( http://dev.networkerror.org/utf8/ )。

如果有帮助，这里是 to_unichr 的代码:

def to_unichr(self, cid):
    if self.unicode_map:
        try:
            return self.unicode_map.get_unichr(cid)
        except KeyError:
            pass
    try:
        return self.cid2unicode[cid]
    except KeyError:
        raise PDFUnicodeNotDefined(None, cid)

有没有办法设置/更改代码识别的字符映射？

您认为我应该更改什么，或者您认为我应该调查哪里，以便 cid=160 不会引发异常？

Answer 1

示例文档中的相关字体是简单字体并使用WinAnsiEncoding。此编码在 PDF 规范 ISO 32000-1 中定义。作为附件D.2 拉丁字符集和编码表中的四种特殊编码之一。此表不包含 WIN 列中 240 的条目(= 十进制 160。表条目以八进制数形式给出!)。

此表被提取为 latin_enc.py 中的 ENCODING 数组，并从该数组中在 encodingdb.py 中生成这四种编码的映射。然后使用strong>，例如对于具有该编码的字体，请参见 pdffont.py 中的 PDFSimpleFont。

因此，PdfMiner 不会将代码 160 识别为在 WinAnsiEncoding 中具有任何关联字符。这会导致您的问题。

<小时/>

只看表格似乎是正确的，但如果读一下表格下面的注释，就会发现:

6. The SPACE character shall also be encoded as 312 in MacRomanEncoding and as 240 in WinAnsiEncoding. This duplicate code shall signify a nonbreaking space; it shall be typographically the same as (U+003A) SPACE.

PdfMiner 的开发似乎忽略了这一点。

可以通过添加第二个空格条目来修复此疏忽

('nbspace', None, 202, 160, None)

到ENCODING数组(使用十进制数字)；如果您愿意，您可能需要使用空格。

(我说可能是因为我不喜欢Python编程，因此无法检查，特别是无法检查不需要的副作用。)