使用OpenVINO™.CSharp.API在C#平台快速部署PP-OCRv5模型识别多场景文本
在本文中,将演示如何使用的OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package快速在Intel CPU平台落地PP-OCRv5模型
PP-OCRv5是百度开源的高效OCR系统,通过轻量化SLANet网络提速20%,优化多尺度特征融合提升小文本识别,支持80+语言,显著降低复杂场景错误率,适用于移动端/服务器端部署。
在本文中,将演示如何使用的OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package快速在Intel CPU平台落地PP-OCRv5模型
项目链接:
#OpenVINO.CSharp.API
https://github.com/guojin-yan/OpenVINO-CSharp-API.git
#OpenVINO.CSharp.API.Extensions.PaddleOCR
https://github.com/guojin-yan/PaddleOCR-OpenVINO-CSharp.git
1.OpenVINO.CSharp.API.Extensions.PaddleOCR
OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper,应用最新的 OpenVINO™ 库开发,通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用,使用习惯与 OpenVINO™ C++ API 一致。OpenVINO™ C# API 由于是基于 OpenVINO™ 开发,所支持的平台与 OpenVINO™ 完全一致,具体信息可以参考 OpenVINO™。通过使用 OpenVINO™ C# API,可以在 .NET、.NET Framework等框架下使用 C# 语言实现深度学习模型在指定平台推理加速。
为了帮助各位开发者实现快速部署PaddleOCR模型,前期我们推出了OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package,实现在英特尔任意CPU平台块数快速落地PaddleOCR,并受到了大家广泛的关注和应用支持。在PP-OCRv5推出后,我们也做了测试,所推出的OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package对PP-OCRv5也做到了完全支持,通过切换模型和字典,便可以实现PP-OCRv5的轻松部署。同时为了方便大家使用,对当前主流框架做了支持,如下所示:
此次,我们对OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package作了进一步升级,升级了对OpenVINO™和OpenCvsharp的最新支持,并对 PP-OCRv5 部署作了进一步优化,同时新增了PP-OCRv5 快速部署接口,方便大家使用。
2.PP-OCRv5
PP-OCRv5 是PP-OCR新一代文字识别解决方案,该方案聚焦于多场景、多文字类型的文字识别。在文字类型方面,PP-OCRv5支持简体中文、中文拼音、繁体中文、英文、日文5大主流文字类型,在场景方面,PP-OCRv5升级了中英复杂手写体、竖排文本、生僻字等多种挑战性场景的识别能力。在内部多场景复杂评估集上,PP-OCRv5较PP-OCRv4端到端提升13个百分点。
对比PP-OCRv4,PP-OCRv5在所有检测场景下均有明显提升,尤其在手写、古籍、日文检测能力上表现更优。单模型即可覆盖多语言和多类型文本,识别精度大幅领先前代产品和主流开源方案。
3.模型导出
PP-OCRv5使用的是PaddlePaddle 3.0,目前PaddlePaddle 3.0 模型格式发生了显著变化,静态图模型存储文件名由 xxx.pdmodel
改为 xxx.json
,同时模型整体适配飞桨 3.0 中间表示技术(PIR),拥有更加灵活的扩展能力和兼容性。目前OpenVINO™还在对PaddlePaddle 3.0做适配,因此目前无法读取PaddlePaddle 3.0导出的模型,需要将其转化为ONNX格式。
模型导出参考了大佬们的解决方案,原文链接为:
https://github.com/openvino-book/PP-OCRv5_OpenVINO/blob/main/How%20to%20export%20PP-OCRv5%20model.md
Step 1: 创建虚拟环境
conda create -n ppocrv5_ov python=3.11
conda activate ppocrv5_ov
Step 2: 安装依赖项
安装必要的依赖项:
pip install paddlepaddle
pip install paddleocr
pip install onnx==1.16.0
paddleocr install_hpi_deps cpu
paddlex --install paddle2onnx
❝备注:如果你使用的是Windows环境,在安装paddlepaddle时,请安装最新的编译版本,安装指令如下:
python -m pip install --pre paddlepaddle -i https://www.paddlepaddle.org.cn/packages/nightly/cpu/
如果上述指令安装后依旧为PaddlePaddle 3.0.0版本,请前往
https://www.paddlepaddle.org.cn/packages/nightly/cpu/
网站自行下载安装包安装。
Step 3: 下载官方 PP-OCRv5 训练模型
如果你的电脑安装了wget指令,可以直接运行一下指令进行下载,如果未安装,可以直接在浏览器输入以下链接直接下载:
# Download and unzip PP-OCRv5_server_det pre-trained model
wget https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv5_server_det_infer.tar && tar -xvf PP-OCRv5_server_det_infer.tar
# Download and upzip PP-OCRv5_server_rec pre-trained model
wget https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv5_server_rec_infer.tar && tar -xvf PP-OCRv5_server_rec_infer.tar
# Download and upzip PP-OCRv5_server_cls pre-trained model
wget https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-LCNet_x1_0_doc_ori_infer.tar && tar -xvf PP-LCNet_x1_0_doc_ori_infer.tar
Step 4: 导出ONNX格式的 PP-OCRv5 模型
输入以下指令,便可以实现模型格式转化:
# Export PP-OCRv5_server_det to ONNX
paddlex --paddle2onnx --paddle_model_dir ./PP-OCRv5_server_det_infer --onnx_model_dir ./PP-OCRv5_server_det_onnx
# Export PP-OCRv5_server_rec to ONNX
paddlex --paddle2onnx --paddle_model_dir ./PP-OCRv5_server_rec_infer --onnx_model_dir ./PP-OCRv5_server_rec_onnx
# Export PP-OCRv5_server_cls to ONNX
paddlex --paddle2onnx --paddle_model_dir ./PP-LCNet_x1_0_doc_ori_infer --onnx_model_dir ./PP-OCRv5_server_cls_onnx
❝如果大家觉得下载转换繁琐,此处我已经给大家转换好并放在GitHub上,链接为:
https://github.com/guojin-yan/PaddleOCR-OpenVINO-CSharp/releases/tag/Modelv5
大家可以根据自己需要自行下载,或加入QQ交流群,通过群文件进行下载,QQ技术交流群为:945057948
4.创建项目工程
在Windows平台开发者可以使用Visual Studio平台开发程序,但无法跨平台实现,为了实现跨平台,此处采用dotnet指令进行项目的创建和配置。
首先使用dotnet创建一个测试项目,在终端中输入一下指令:
dotnet new console --framework net6.0 --use-program-main -o paddleocr
项目框架此处可以根据需要自行选择,支持多种框架。
此处以Windows平台为例安装项目依赖,首先是安装最重要的项目依赖,PaddleOCR部署接口:OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package,在命令行中输入以下指令即可:
dotnet add package OpenVINO.CSharp.API.Extensions.PaddleOCR
同时还需要安装OpenVINO™ C# API运行时依赖和OpenCvSharp4运行时依赖:
dotnet add package OpenVINO.runtime.win
dotnet add package OpenCvSharp4.runtime.win
最后在主函数文件里添加以下代码即可:
using OpenCvSharp;
using OpenVinoSharp.Extensions.model.PaddleOCR;
using System.Diagnostics;
namespacepaddleocrv5
{
internalclassProgram
{
static async Task Main(string[] args)
{
// 下面代码会自动下载模型,直接运行即可
// 模型存放在GitHub,网络会影响下载速度,如果无法下载可以在QQ交流群(945057948)中下载,并运行test_ocr_v5()进行验证
OnlineOcr ocr = await Pipeline.GetOnlineOCR(Language.PP_OCRv5_mobile);
Tuple<List<OCRPredictResult>, Mat> ocr_result = ocr.ocr_test();
PaddleOcrUtility.print_result(ocr_result.Item1);
Mat image = PaddleOcrUtility.visualize_bboxes(ocr_result.Item2, ocr_result.Item1);
Cv2.ImShow("Result", image);
Cv2.WaitKey(0);
}
/// <summary>
/// 下面代码可以通过手动下载模型进行测试
/// </summary>
static void test_ocr_v5()
{
// 替换为自己的路径
string image_path = @"E:\Data\ocr\11.jpg";
string det_model = @"E:\Model\ocr\PP-OCRv5_mobile_det_onnx.onnx";
string cls_model = @"E:\Model\ocr\PP-OCRv5_mobile_cls_onnx.onnx";
string rec_model = @"E:\Model\ocr\PP-OCRv5_mobile_rec_onnx.onnx";
Mat image = Cv2.ImRead(image_path);
RuntimeOption.RecOption.label_path = @"E:\Model\ocr\ppocrv5_dict.txt";
OCRPredictor ocr = new OCRPredictor(det_model, cls_model, rec_model);
List<OCRPredictResult> ocr_result = ocr.ocr(image, true, true, true);
Stopwatch sw = new Stopwatch();
sw.Start();
ocr_result = ocr.ocr(image, true, true, true);
sw.Stop();
PaddleOcrUtility.print_result(ocr_result);
Mat result = PaddleOcrUtility.visualize_bboxes(image, ocr_result);
Console.WriteLine("总推理时间: " + sw.ElapsedMilliseconds + " ms");
Cv2.ImShow("result", result);
string result_path = Path.Combine(Path.GetDirectoryName(image_path), Path.GetFileNameWithoutExtension(image_path) + "_result.jpg");
Cv2.ImWrite(result_path, result);
Cv2.WaitKey(0);
}
}
}
上面提供了两种测试方式,一种是Main()方法里面运行的直接下载模型和测试文件并直接进行推理,无需准备任何模型文件和图片,即可进行体验。void test_ocr_v5() 方法里,需要用户自行准备模型,并修改路径即可运行测试。
❝为了防止大家配置出错,同时提供了配置完整的项目工程,大家可以加入技术交流群自行下载,QQ技术交流群为:945057948
5.运行测试
接下来输入项目编译指令进行项目编译,输入以下指令即可:
dotnet build
接下来运行编译后的程序文件,在CMD中输入以下指令,运行编译后的项目文件:
dotnet run --no-build
运行后项目输出为:
此外,我们还给大家演示了更加复杂识别,结果如下:
手写字体识别:
登机牌识别:
6.总结
OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package工具通过底层封装,将PaddleOCR的推理和前后处理集成在了一起,方便大家使用,对于初学者十分友好。但是封装的接口可能无法满足更多开发者的需求,因此建议有技术的开发者们下载源码,根据自己需求自行修改配置,使其更加灵活。
更多推荐
所有评论(0)