python - 如何处理 PDFMiner 提取的文本中的 CID？

Question

我有一些印地语的 PDF，并且有可提取的文本。我使用 pdfminer.six for python 3.6 来进行提取。输出如下:

正如我们所见，有许多字符被转换为“(cid :number)”形式。

经过进一步分析，我发现 PDF 包含将字符代码映射到字形索引的 CMAP。因此，CID 是它在 CMAP 表内映射到的字形的字符标识。

但是这些字符代码与 Unicode 值有何关系呢？基本上，PDF 查看器如何能够使用此映射显示字形？

此外，根据this类似问题的评论，这个过程可能不合法。但我并不是想窃取别人的字体。我想要文字。这个过程如何变得非法？

由于类似这样的问题还有很多，我想澄清一下，我的目的并不是解决“cid”问题。我想澄清问题的原因以及非法的原因。

编辑: This issues page for pdfminer 讨论了这个问题，作者明确表示这个问题似乎没有可靠的解决方法。是否存在一些一般的基本限制(例如无法访问字体)导致此问题持续存在？

Answer 1

But how are these character codes related to Unicode values? Basically, how is a PDF viewer able to show the glyph using this mapping?

在 PDF 内容流中找到的字符代码不需要以任何明显的方式与 Unicode 值相关。特别是，PDF 查看器根本不需要字符代码的 Unicode 代码点来显示匹配的字形。

在 PDF 中，字体具有从字符代码到字体程序中的字形 ID 的映射(或映射序列)，并且该映射可能是完全任意的。

例如在嵌入字体子集的情况下，子集字体程序通常是通过为页面上使用的第一个字形提供起始字形 ID n 来创建的，然后为该页面上的第二个不同的字形 ID n +1，然后是下一个不同的字形 id n+2 等等，然后字符代码通常与字形 id 相同，即上面的映射是恒等映射。如果不再有附加信息，文本提取器就没有机会正确完成其工作。

I want to clarify the reasons for the problem

常规文本提取通常具有以下选项来查找字符代码的 Unicode 值:

• PDF 字体可能包含一个ToUnicode映射(从字符代码映射到 Unicode)以支持在 PDF 查看器中搜索字符串或复制和粘贴等操作。该映射立即提供文本提取器所需的映射。

  但请注意:这些 ToUnicode 映射可能不完整，有时甚至包含故意不正确的映射!

• PDF 字体编码定义可能包含预定义标准编码的名称(例如 WinAnsiEncoding 或 GBpc-EUC-H)或标准化字符给定代码的名称(例如空格、七或ntilde)。文本提取器只需要知道该编码名称表示的编码或该字符名称表示的代码。

  但是编码也可能是一个身份(身份-H和身份-V，字符代码 = 字形代码)，它不会泄露任何内容，并且角色名称也可能是非标准化的(例如 g17)。

PDF 规范规定:如果这些方法无法生成 Unicode 值，则无法确定字符代码代表什么，在这种情况下，符合要求的读者可以选择自己选择的字符代码。

对于您的文本提取输出，我猜测 PDF 字体具有不完整的 ToUnicode 映射。

实际上还有更多位置可以查找附加信息，例如字体程序可能包含其字形到 Unicode 的自己的映射，但这些附加信息也是可选的。

... and reasons for it's illegality.

在上述所有选项的情况下，我没有看到任何合理的字体许可证被违反，特别是因为大多数这些选项甚至没有考虑字体程序(例如 *.ttf)本身，而只是考虑了PDF 元数据包装它。

另一方面，如果您有想法为那些缺少此类映射的字体构建 ToUnicode 映射，方法是将字体的每个字形绘制到位图上，与其他任何内容很好地分开，然后对其应用 OCR，您作为接收者PDF 突然会使用字体程序绘制原始文档以外的内容，这可能被视为许可证未涵盖的用法。