python - 用于 OCR 的场景文本图像超分辨率

Question

我正在开发 OCR 系统。我在识别 中的文本时面临的挑战投资返回率 是由于 颤抖或 运动效果 的照片或文字不关注 由于角度位置 .请考虑以下演示示例

如果您注意到文本(例如标记为红色)，则在这种情况下 OCR 系统无法正确识别文本。但是，如果图像太模糊，OCR 系统无法识别或部分识别文本，这种情况也可能出现在没有角度拍摄的情况下。有时他们是模糊或者有时非常低分辨率或 像素化 .例如

我们尝试过的方法
首先，我们尝试了 SO 上可用的各种方法。但遗憾的是没有运气。

How to improve image quality to extract text from image using Tesseract

How to improve image quality? [closed]

Image quality improvement in Opencv

接下来，我们尝试了以下三种最有前途的方法。
1.TSRN
最近的一项研究工作( TSRN)主要关注此类案例。它的主要直观介绍是 超分辨率 (SR) 技术作为预处理。这个 implementation看起来是迄今为止最有希望的。但是，它无法在我们的自定义数据集上发挥作用(例如上面的第二张图像，蓝色文本)。以下是他们演示的一些示例:

2.神经增强
在查看 its page 上的插图后，我们相信它可能会奏效。但遗憾的是它也无法解决问题。然而，即使是他们展示的例子，我也有点困惑，因为我也无法重现它们。我提出了 issue on github我在这里更详细地展示了这一点。以下是他们演示的一些示例:

3. ISR
this 最后一个希望最小的选择执行。也没有运气。
更新 1

【方法】:除上述外，我们还尝试了一些传统的方法，如Out-of-focus Deblur Filter (维纳滤波器和无监督维纳滤波器)。我们还检查了Richardson-Lucy方法。但这种方法也没有任何改进。

[方法]:我们检查了基于 GAN 的 DeBlur 解决方案。 DeblurGAN我试过这个网络。吸引我的是 的做法。盲运动去模糊 机制。

最后，从此 discussion我们遇到 this research work这似乎真的足够好。这个还没试过。

更新 2

【方法】:通过内核估计和噪声注入(inject)实现真实世界的超分辨率
试过这个方法。有希望。但是，在我们的情况下不起作用。 Code .

【方法】:照片修复
与上述所有方法相比，它在 OCR 的超文本分辨率方面表现最好。它极大地去除了噪声、模糊等，使图像更加清晰，更好地增强了模型的泛化能力。 Code .

我的查询
是否有任何有效的解决方法来解决此类情况？任何可以改善这种情况的方法 模糊或 低分辨率文本是否为 的像素在前面或 远方由于相机角度？

Answer 1

目前有一种解决方案通过内核估计和噪声注入(inject)实现真实世界的超分辨率 .作者提出了退化框架RealSR，为超分辨率学习提供了逼真的图像。它是一种有前途的抖动或运动效果图像超分辨率方法。
该方法分为两个阶段。超分辨率的第一阶段现实退化

is to estimate the degradation from real data and generate realisticallyLR images.

第二阶段超分辨率模型

is to train the SR model based on the constructed data.

你可以看看这篇 Github 文章: https://github.com/jixiaozhong/RealSR