PaddleSharp：跨越一年的版本更新与亮点

我始终坚信，开源社区是技术进步的重要推动力，也是我抽出我业余时间，投入到 PaddleSharp 这个项目的原因，这个项目充分展现了.NET在复杂计算领域的潜力。今天很高兴地告诉大家， PaddleSharp 有了新版本！ 。

先来说说背景，有的朋友可能知道， PaddleSharp 过去老版本存在一些东西过时或者无法使用的情况。但是，时光恰恰是优化和革新的好理由和契机，我在距离上一篇文章发布之后，做了许多优化，下面我挑重要的部分做介绍.

整体体验

文档和示例

我一直在更新 Github 首页的使用文档和示例:

• https://github.com/sdcb/PaddleSharp （项目首页+整体介绍+推理库部分）
• https://github.com/sdcb/PaddleSharp/blob/master/docs/ocr.md （PaddleOCR）
• https://github.com/sdcb/PaddleSharp/blob/master/docs/detection.md （PaddleDetection）
• https://github.com/sdcb/PaddleSharp/blob/master/docs/rotation-detection.md （RotationDetection）
• https://github.com/sdcb/PaddleSharp/blob/master/docs/paddle2onnx.md （Paddle模型转Onnx）

里面包含了大致介绍、使用方式、使用示例、注意事项等.

我会持续维护这些文档，尤其是有客户有时向我反馈一些问题，我会将里面一些常见的问题和解决办法写在上面文档中，因此建议初接触 PaddleSharp 的朋友看看.

xml注释和snuget调试

作为一名程序员，编程体验很重要，方法怎么用，一个是看示例，另一个就是看注释.

为此我将 PaddleSharp 中所有的公有方法、受保护方法都加上了详尽的xml注释，这一点在Github上显示了超过9000行代码变动，以后在 Visual Studio 中鼠标放在 PaddleSharp 里面的类、参数、方法上时，就会显示详尽的注释，比如下面这个注释:

                        
                          /// <summary>
/// Returns an Action delegate that configures PaddleConfig for use with Onnx.
/// </summary>
/// <param name="cpuMathThreadCount">The number of CPU threads to use for math operations. A value of 0 sets it to minimum of 4 and the available number of processors.</param>
/// <param name="enableOnnxOptimization">Flag to enable or disable Onnx runtime optimization.</param>
/// <param name="memoryOptimized">Flag to enable or disable memory optimization.</param>
/// <param name="glogEnabled">Flag to enable or disable logging with glog.</param>
/// <returns>The ONNX Runtime paddle device definition.</returns>
public static Action<PaddleConfig> Onnx(int cpuMathThreadCount = 0, bool enableOnnxOptimization = true, bool memoryOptimized = true, bool glogEnabled = false)
{
    return cfg =>
    {
        cfg.OnnxEnabled = true;
        if (enableOnnxOptimization) cfg.EnableOnnxOptimization();
        cfg.CpuMathThreadCount = cpuMathThreadCount switch
        {
            0 => Math.Min(4, Environment.ProcessorCount),
            _ => cpuMathThreadCount
        };
        CommonAction(cfg, memoryOptimized, glogEnabled);
    };
}

                        
                      

可见它会每个成员函数、参数、返回值都作出了详尽的xml注释.

以此为基础，我还将所有的 .NET 包发布了 .snuget 包，这些包自带 pdb 调试符号文件，以后编程中按F11即可单步调试进入 PaddleSharp 的源代码中，.

Paddle推理库

设备管理

其中，一项重要的改变在于设备使用接口的设计。老版本中只有 PaddleConfig.Defaults.UseGpu 这一设备启用选项，为了增强扩展性和用户体验，便对其进行了扩展：新版本中我引入了下列设备:

• PaddleDevice.Gpu()
• PaddleDevice.Openblas()
• PaddleDevice.Onnx()
• PaddleDevice.Mkldnn()
• PaddleDevice.TensorRt() （需要和 PaddleDevice.Gpu() 配合使用）

不同的方法代表着不同的设备类型，这无疑为用户提供了更大的选择空间，这是 PaddleOCR 的新版本使用示例（它需要作为PaddleOcrAll的参数传进去）:

                        
                          // 注：需要先安装如下NuGet包：
// * Sdcb.PaddleInference
// * Sdcb.PaddleOCR
// * Sdcb.PaddleOCR.Models.LocalV3
// * Sdcb.PaddleInference.runtime.win64.mkl
// * OpenCvSharp4.runtime.win
FullOcrModel model = LocalFullModels.ChineseV3;

byte[] sampleImageData;
string sampleImageUrl = @"https://www.tp-link.com.cn/content/images2017/gallery/4288_1920.jpg";
using (HttpClient http = new HttpClient())
{
    Console.WriteLine("Download sample image from: " + sampleImageUrl);
    sampleImageData = await http.GetByteArrayAsync(sampleImageUrl);
}

// 下面的PaddleDevice.Mkldnn()是新加的
// 之前是用的PaddleConfig.Defaults.UseMkldnn = true
// 如果想要GPU，则改为PaddleDevice.Gpu()即可
using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Mkldnn())
{
    AllowRotateDetection = true, /* 允许识别有角度的文字 */ 
    Enable180Classification = false, /* 不允许识别旋转角度大于90度的文字 */
})
{
    // 如果需要读取本地文件，使用如下被注释的代码
    // using (Mat src2 = Cv2.ImRead(@"C:\test.jpg"))
    using (Mat src = Cv2.ImDecode(sampleImageData, ImreadModes.Color))
    {
        PaddleOcrResult result = all.Run(src);
        Console.WriteLine("Detected all texts: \n" + result.Text);
        foreach (PaddleOcrResultRegion region in result.Regions)
        {
            Console.WriteLine($"Text: {region.Text}, Score: {region.Score}, RectCenter: {region.Rect.Center}, RectSize:    {region.Rect.Size}, Angle: {region.Rect.Angle}");
        }
    }
}

                        
                      

其中用于设备管理的代码在:

                        
                          using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Mkldnn())

                        
                      

它可以换为 PaddleDevice.Openblas() （表示不使用Mkldnn）:

                        
                          using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Openblas())

                        
                      

或者换成 PaddleDevice.Gpu() （表示使用GPU——但必须先安装Gpu的相关包并配好环境）:

                        
                          using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Gpu())

                        
                      

当然，我会尽量简化和清晰地解释这个部分。以下是我的修改提案:

库加载方式优化

在旧版 PaddleSharp 中，库加载方式主要有两种：在 .NET Framework 中采用 Autoload 方式，在 .NET Core 中采用 SearchPathLoad 方式。然而，这两种方式在某些情况下并不理想，特别是在 Linux 环境下.

Autoload方式

Autoload 方式的主要问题在于， PaddleSharp 依赖于 paddle_inference_c.dll ，而 paddle_inference_c.dll 又依赖于其他dll如 openblas.dll 。即使 paddle_inference_c.dll 成功加载，也可能因为其他依赖dll的问题导致推理失败.

解决办法是在调用依赖dll加载的函数前，先调用一个不会触发加载的函数，例如 PaddleConfig.Version 。然后在当前进程模型中找到 paddle_inference_c 模块，定位到它所在的文件夹，并把文件夹路径导入到环境变量中.

SearchPathLoad方式

SearchPathLoad 方式利用了 .NET Core 3.1 引入的 AppContext 变量： NATIVE_DLL_SEARCH_DIRECTORIES 。这种方式不需要读取进程模块就能知道dll的位置.

但是，这种方法在 Linux 环境下行不通。因为 Linux 的 LD_LIBRARY_PATH 环境变量必须在进程启动前被确定。一旦进程启动，环境变量的值就被缓存起来，运行时的修改对程序无效.

新的加载方式

为了解决上述问题，新的 PaddleSharp 版本采用了逐步加载依赖的方式。在 Linux 环境中，依次加载以下动态库:

1. libgomp.so.1
2. libiomp5.so
3. libdnnl.so.2
4. libmklml_intel.so
5. libonnxruntime.so.1.11.1
6. libpaddle2onnx.so.1.0.0rc2

这种新的加载方式有效解决了在 Linux 环境下的问题.

PaddleOCR

已经支持表格识别

这个许多客户反馈了许久，我在大概2023年五一的时候实现了表格识别功能，同时表格识别的模型我都加入了 Sdcb.PaddleOCR.Models.LocalV3 / Sdcb.PaddleOCR.Models.Online 包，可以全离线表格识别或者按需下载模型表格识别.

它的使用示例如下（最新版本请参考这个链接： https://github.com/sdcb/PaddleSharp/blob/master/docs/ocr.md#table-recognition ）:

                        
                          // Install following packages:
// Sdcb.PaddleInference
// Sdcb.PaddleOCR
// Sdcb.PaddleOCR.Models.LocalV3
// Sdcb.PaddleInference.runtime.win64.mkl (required in Windows, linux using docker)
// OpenCvSharp4.runtime.win (required in Windows, linux using docker)
using PaddleOcrTableRecognizer tableRec = new(LocalTableRecognitionModel.ChineseMobileV2_SLANET);
using Mat src = Cv2.ImRead(Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.MyPictures), "table.jpg"));
// Table detection
TableDetectionResult tableResult = tableRec.Run(src);

// Normal OCR
using PaddleOcrAll all = new(LocalFullModels.ChineseV3);
all.Detector.UnclipRatio = 1.2f;
PaddleOcrResult ocrResult = all.Run(src);

// Rebuild table
string html = tableResult.RebuildTable(ocrResult);

                        
                      

效果如图:

Raw table	Table model output	Rebuilt table

值得注意的是， PaddleSharp 的表格识别是基于飞桨的深度学习模型，对于一些规整的表格，它的效果可能不如使用传统的 OpenCV 算法，如果想了解传统算法，可以参考我2021年 .NET Conf China 做的技术分享的pdf： .NET玩转计算机视觉OpenCV - 周杰 。

两个新的模型包LocalV3/Online

新版本中，还引入了两个新的本地模型包： Sdcb.PaddleOCR.Models.LocalV3 / Sdcb.PaddleOCR.Models.Online 。一个表示完全本地——不用联网即可使用OCR，另一个表示需要联网，模型按需下载.

下面是使用 Sdcb.PaddleOCR.Models.LocalV3 的示例:

                        
                          FullOcrModel model = LocalFullModels.EnglishV3; // 将EnglishV3换为其它模型，如ChineseV3
using (PaddleOcrAll all = new PaddleOcrAll(model))
{
    // ...
}

                        
                      

下面是使用 Sdcb.PaddleOCR.Models.Online 的示例:

                        
                          FullOcrModel model = await OnlineFullModels.EnglishV3.DownloadAsync();
using (PaddleOcrAll all = new PaddleOcrAll(model))
{
    // ...
}

                        
                      

其中值得一提的是 LocalV3 ，它将所有已知 PaddleOCR 的v3模型都包含了，安装这个包可以实现完全不联网部署.

为什么我需要淘汰原来的 Sdcb.PaddleOCR.KnownModels ？

说来话长，首先KnownModels有下面几个缺点:

• 主要原因是OCR需要使用的文字检测、180度分类、文字识别3个模型会下载到以语言命名的同一个文件夹中:

                              
                                C:\Users\ZhouJie\AppData\Roaming\paddleocr-models\ppocr-v3>tree /f
  C:.
  │  key.txt
  │
  ├─cls
  │      inference.pdiparams
  │      inference.pdiparams.info
  │      inference.pdmodel
  │
  ├─det
  │      inference.pdiparams
  │      inference.pdiparams.info
  │      inference.pdmodel
  │
  └─rec
          inference.pdiparams
          inference.pdiparams.info
          inference.pdmodel
  
                              
                            

  如上图，每个模型的cls文件夹都可能重复占用磁盘空间、且需要重复下载——这不合理.

  因此我引入了 Sdcb.PaddleOCR.Models.Online ，已经下载过的模型不会重复下载，这个行为和 PaddleOCR 上游 Python 代码一致.

• 次要问题是它的命名， KnownModels 不能代表它是本地模型还是线上模型（虽然它本质是线上模型、按需下载），如果使用 LocalV3 和 Online ，则可以清晰地看出是本地模型或者线上模型.

识别阶段走batch

关于性能问题，新版本也做了一些重要的升级。OCR文字识别阶段能够自动支持batch处理，且走batch时会排序，将一样宽的文字行做一批识别，这样大大优化了程序的性能.

据一些客户的测试反馈， PaddleSharp 的 PaddleOCR 的性能表现很好，甚至在某些场景下和官方的 C++ 、 Python 版本相比有更好的表现.

总结

其实上面只是一些主要的，其实 PaddleSharp 项目还有许多非常有意思功能增强，比如 RotationDetection 和 Paddle2Onnx ，以后有机会我一一介绍.

我深信这些更新无疑会为 .NET 开源社区带来更多的可能性和便利。我将继续在这个领域上付出努力，为 .NET 社区做出更多的贡献。我期待着更多 .NET 爱好者能够加入我，一起提升 PaddleSharp 在 .NET 深度学习实战应用中的影响力，它将始终保持好用且免费，让我们共同期待它的更多精彩！ 。

想尝试 PaddleSharp 的朋友，欢迎访问我的 Github ，也请给个Star🌟 。

喜欢的朋友 请关注我的微信公众号：【DotNet骚操作】 。

最后此篇关于PaddleSharp：跨越一年的版本更新与亮点的文章就讲到这里了,如果你想了解更多关于PaddleSharp：跨越一年的版本更新与亮点的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。