【哪吒开发板试用】基于YOLO的量产整车四轮规格AI视觉检查系统(一)
本文主要介绍基于哪吒开发套件,采用YOLO深度学习算法对量产整车四轮规格作AI视觉检测。
一、项目背景
在汽车主机厂生产线上,完成冲压、焊装、涂装、总装四大工序后,需要完成对整车外观、机能等的品质检查。其中需要对量产整车的四轮装配的轮毂、轮胎的规格、品牌做一致性与正确性确认,传统的检查手段为人工目视检查,检查效率低,且无法做到数据溯源,由于多种车型派生同步生产,加上人的不确定因素,存在品质流出的风险。本项目提出基于YOLO(You Only Look Once)深度学习算法,完成对整车四轮的规格检查,提升整车品质保证能力。
二、技术路径
(一)基于哪吒开发板的硬件系统搭建
1.哪吒开发板简介
哪吒(Nezha)开发套件以信用卡大小(85 x 56mm)的开发板-哪吒(Nezha)为核心,采用英特尔®处理器 N97(Alder Lake-N),结合了高性能和低功耗的特性。它支持四核 SoC,时钟频率高达 3.60GHz,TDP 仅为 12W。 其内置 GPU 用于 高分辨率显示。哪吒保持了 85mm x 56mm 信用卡大小的外形尺寸,与树莓派相同,包括高达 8GB 的 LPDDR5 系统内存、高达 64GB 的 eMMC 存储、板载 TPM 2.0、40 针 GPIO 连接器,并支持 Windows 和 Linux 操作系统。这些功能与无风扇冷却器相结合,为各种应用构建了高效的解决方案,适用于教育、物联网网关、数字标牌和机器人等应用。内置 Intel® UHD Graphics Gen12,最多 24 个执行单元,这也是一个强大的 AI 引擎,可用于 AI 推理。它是基于 Xe 架构的新一代 GPU。支持包括 INT8 在内的主要数据类型。通过HDMI 1.4b端口,它支持30Hz的4K UHD(3840×2160)以实现高分辨率显示。40引脚HAT GPIO可配置为PWM、UART、I2C、I2S、SPI和ADC。它为开发人员提供了构建解决方案的自由。
2.系统硬件拓扑
系统硬件主要包含已装好Windows系统的哪吒开发板、外接显示器、鼠键;哪吒开发板通过网线连接至千兆交换机,再由交换机连接至4个分别采集四轮图像的工业相机。
3.系统检测流程
车辆驶入检查工位后,可通过成绩卡扫描等方式获取该车型派生所对应的四轮规格检查标准。接着开始检查,系统触发相机进行四轮图像采集,同时读取经 YOLO 训练后的轮毂模型,对不同风格的轮毂进行目标检测,得出相应类别、置信度以及目标左上角、右下角坐标。依据四个车轮的轮毂类别是否一致来判断其一致性。进一步地,开启环形补光灯,为轮胎进行均匀补光,系统再次触发相机采集车轮图像。根据轮毂目标检测得出的左上角、右下角坐标结果,裁剪图像后进行极坐标变化,从而得到水平展开的轮胎图像。然后,读取 YOLO 训练后的轮胎模型,对不同轮胎品牌字符进行目标识别,通过四个车轮的轮胎品牌类别是否一致来判断一致性。最终展示检查结果。
(二)基于C# YOLO的软件系统开发
1.软件系统实现路径
图像采集环节,采用海康机器人的工业相机SDK进行开发,系统控制相机获取图像,获取数据图像后,采用X-AnyLabeling进行图像标注,拆分训练、评估数据后,进行YOLO模型训练,评估训练结果,最后导出YOLO模型,在哪吒开发板上采用OpenVINO™进行部署。人机交互环节,采用C# Winform框架进行开发。
2.系统环境配置
- Python的安装
- PyCharm的安装
- 安装教程:https://mp.weixin.qq.com/s/QnH_YKjaTvnxrP_ta9Tr9g?poc_token=HD38wmajzwofrOvUuAG4YJZUWxG0c_Nybc_zpOvx
- 官网下载:https://www.jetbrains.com/pycharm/download/#section=windows
- YOLO的安装
- 安装教程:https://blog.csdn.net/weixin_44765053/article/details/140161986
- GitHub地址:https://github.com/ultralytics/ultralytics
- 简易步骤说明:
- 从GitHub获取YOLOv8项目源码并解压
- YOLOv8虚拟环境创建
①搜索并打开Anaconda Prompt (Anaconda3),以管理员身份运行
②#在命令窗口创建虚拟环境#——conda create -n yolov8 python=3.8
③#激活虚拟环境yolov8#——activate yolov8
④#安装yolov8的依赖库#——pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple
- 使用PyCharm打开YOLOv8项目源码并配置解析器
- Pytorch的安装
- 安装教程:https://blog.csdn.net/Little_Carter/article/details/135934842
- 官网地址:https://pytorch.org/get-started/locally/
- 安装教程:https://blog.csdn.net/qq_19394437/article/details/140011912
- 安装说明:本项目基于C# Winform GUI框架进行模型部署与人机界面开发,需安装“.NET桌面开发”、“使用C++的桌面开发”。
- 官网地址:https://visualstudio.microsoft.com/zh-hans/downloads/
更多推荐
所有评论(0)