百度飞桨(PaddlePaddle)-PP-OCRv3文字检测识别系统预测部署简介与总览

转载 作者：我是一只小鸟 更新时间：2023-05-30 14:31:56 26 4

百度飞桨(PaddlePaddle) - PP-OCRv3 文字检测识别系统 预测部署简介与总览 百度飞桨(PaddlePaddle) - PP-OCRv3 文字检测识别系统 Paddle Inference 模型推理（离线部署） 百度飞桨(PaddlePaddle) - PP-OCRv3 文字检测识别系统 基于 Paddle Serving快速使用（服务化部署） 。

1. 预测部署简介与总览

本章主要介绍PP-OCRv2系统的高性能推理方法、服务化部署方法以及端侧部署方法。通过本章的学习，您可以学习到:

• 根据不同的场景挑选合适的预测部署方法
• PP-OCRv2系列模型在不同场景下的推理方法
• Paddle Inference、Paddle Serving、Paddle Lite的推理部署开发方法

1.1 简介

在前面几个章节中，我们通过模型训练的方法，得到了训练好的模型，在使用它去预测的时候，我们首先需要定义好模型，然后加载训练好的模型，再将预处理之后的数据送进网络中进行预测、后处理，得到最终的结果。使用这种方法去进行预测，调试方便，但是预测效率比较低下.

针对上面的问题，对于训练得到的模型，一般有下面2种离线预测的方式.

1. 基于训练引擎推理，也就是和训练使用同一套引擎，它调试方便，便于我们迅速定位问题，验证正确性。多为Python语言。
2. 基于预测引擎推理，将训练得到的模型进行转换，去掉与推理无关的部分，使用这种方法可以加速预测。多为Python语言或C++。

二者具体的区别如下所示.

	基于训练引擎推理	基于预测引擎推理
特点	1. 和训练使用同一套引擎 2. 预测时需要定义网络模型 3. 不适合系统集成	1. 需要转换模型，去掉与推理无关的部分 2. 预测时无需定义网络模型 3. 适合系统集成
编程语言	多为Python	Python或者C++
预测步骤	1. Python端定义网络结构 2. 准备输入数据 3. 加载训练模型 4. 执行预测	1. 准备输入数据 2. 加载模型结构和模型参数 3.执行预测

在实际离线预测部署中，更推荐基于预测引擎进行推理.

从应用场景来看，飞桨针对不同应用场景，提供了下面一些推理部署方案.

飞桨的不同部署方案

具体地，PaddleOCR 针对不同应用场景，提供了三种预测部署方案.

• Inference的离线预测，这种方式主要应用在对预测响应的及时性要求不高，特别是需要大量图片预测的场景。像文档电子化、广告信息提取等。虽然不能及时响应预测请求，但是没有网络延时，计算效率比较高，数据安全性很高。
• Serving服务化部署，这种方式主要应用在对预测响应的及时性要求很高的场景，像商业化OCR的API接口、实时拍照翻译、拍题等场景。虽然这种方式能及时对预测需求及时响应，但是网络耗时开销比较大，GPU利用率往往不高，而且存在数据安全风险。
• Lite端侧部署，这种方式主要希望模型部署到手机、机器人等端侧设备上，主要考虑部署方便和数据安全性，像手机APP里面身份证识别、银行卡识别，工业应用场景的仪表监控识别等。这种方法，对OCR模型的大小比较敏感。虽然没有网络延时，数据安全性很高，但是由于算力限制，预测效率不高。

本章基于PP-OCRv2，介绍文本检测、识别以及系统串联预测推理与部署过程.

1.2 环境准备

体验本章节内容需要首先下载PaddleOCR代码，安装相关依赖，具体命令如下.

                        
                          import os

os.chdir("/home/aistudio")
# 下载代码
!git clone https://gitee.com/paddlepaddle/PaddleOCR.git
os.chdir("/home/aistudio/PaddleOCR")
# 安装运行所需要的whl包
!pip install -U pip
!pip install -r requirements.txt
# VQA任务中需要用到该库
!pip install paddlenlp==2.2.1

# 导入一些库
import cv2
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import os

                        
                      

最后此篇关于百度飞桨(PaddlePaddle)-PP-OCRv3文字检测识别系统预测部署简介与总览的文章就讲到这里了,如果你想了解更多关于百度飞桨(PaddlePaddle)-PP-OCRv3文字检测识别系统预测部署简介与总览的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

26 4 0

• java - 系统.out.println , 系统.err.println

  我有这个代码: System.err.print("number of terms = "); System.out.println(allTerms.size()); System.err

• java - 我可以使用 Ant 检测我是否在 Linux 系统(而不是通用 Unix 系统)上吗？

  我有以下问题:在操作系统是 Linux 的情况下和在操作系统是 MacOs 的情况下，我必须执行不同的操作。 所以我创建了以下 Ant 脚本目标: /u

• 系统()奇怪行为后关闭()

  我正在调用 system("bash ../tools/bashScript\"This is an argument!\"&")，然后我正在调用 close(socketFD) 直接在 system

• 系统 verilog 中数组的约束

  使用最初生成的随机元素来约束随机数组的连续元素是否有效。 例如:我想生成一组 10 个 addr、size 对来模拟典型的内存分配例程并具有如下类: class abc; rand bit[5:0

• cocoa 系统()进展？

  我正在创建一个必须使用system(const char*)函数来完成一些“繁重工作”的应用程序，并且我需要能够为用户提供粗略的进度百分比。例如，如果操作系统正在为您移动文件，它会为您提供一个进度条，

• architecture - 您如何描述您的解决方案/系统？

  我即将编写一些项目经理、开发人员和业务分析师会使用的标准/指南和模板。目标是更好地理解正在开发或已经开发的解决方案。 其中一部分是提供有关记录解决方案的标准/指南。例如。记录解决/满足业务案例/用户需

• performance - 系统/操作系统缓存与应用程序缓存

  在开发使用压缩磁盘索引或磁盘文件的应用程序时，其中部分索引或文件被重复访问(为了论证，让我们说一些类似于 Zipfian 分布的东西)，我想知道什么时候足够/更好地依赖操作系统级缓存(例如，Debia

• Powershell "plugin"系统

  我们编写了一个 powershell 脚本，用于处理来自内部系统的图像并将其发送到另一个系统。现在，业务的另一部分希望加入其中，对数据进行自己的处理，并将其推送到另一个系统。打听了一下，公司周围有几个

• c# - 系统.ApplicationException

  我正在尝试朗姆酒我的应用程序，但我收到以下错误:System.Web.HttpUnhandledException:引发了“System.Web.HttpUnhandledException”类型的异

• javascript - 为如何使用您的网站制作教程的产品/系统

  关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的，

• c - “系统”未在此范围内声明错误

  所以我在其他程序中没有收到此错误，但我在这个程序中收到了它。 这个程序是一个我没有收到错误的示例。 #include int main() { system("pause"); } // en

• c# - 系统.UriFormatException

  我在 c# System.URI.FormatExption 中遇到问题 为了清楚起见，我使用的是 Segseuil 的 Matlab 方法，并且它返回一个图片路径 result。我想为其他用户保存此

• c# - 系统.图纸引用

  我正在尝试像这样设置文本框的背景色: txtCompanyName.BackColor = Drawing.Color.WhiteSmoke; 它不喜欢它，因为它要我在前面添加系统，例如: txtCo

• c# - 系统.StackOverflowException

  请帮助我解决 System.StackOverflowException我想用 .aspx 将记录写入数据库我使用 4 层架构来实现这一切都正常但是当我编译页面然后它显示要插入数据的字段时，当我将数据

• Android 系统 API

  我使用了一些通常由系统调用的API。 因此，我将 android:sharedUserId="android.uid.system" 添加到 manifest.xml， 并使用来自 GIT 的 And

• java - 从应用程序重新安装/系统

  我正在尝试创建一个小型应用程序，它需要对/system 文件夹进行读/写访问(它正在尝试删除一个文件，并创建一个新文件来代替它)。我可以使用 adb 毫无问题地重新挂载该文件夹，如果我这样做，我的应用

• java - 从系统应用程序重新安装/系统；

  我想从没有 su 的系统 priv-app 将/system 重新挂载为 RW。如何以编程方式执行此操作？只会用 Runtime.getruntime().exec() 执行一个 shell 命令吗

• c# - 系统。无效操作异常

  我正在尝试制作一个带有登录系统的程序我对此很陌生，但我已经连续工作 8 个小时试图解决这个问题。这是我得到的错误代码 + ServerVersion 'con.ServerVersion' threw

• c++ - 系统()调用流文件的批处理可执行文件使程序在Windows上重置

  当我“构建并运行”Code::Blocks 中的程序时，它运行得非常好!但是当我从“/bin”文件夹手动运行它时，当它试图用 system() 调用“temp.bat”时，它会重置。这是为什么？它没有

• c++ - 系统/管道调用更改传递给执行的命令中的特殊字符

  我想使用 system/pipe 命令来执行具有特殊字符的命令。下面是示例代码。通过系统/管道执行命令后，它通过改变特殊字符来改变命令。我很惊讶地看到系统命令正在更改作为命令传递的文本。 run(ch