原文链接

在 AI 应用日益普及的 2025 年，模型训练只是第一步，如何高效管理和分发模型，并在边缘设备上实现低延迟推理，成为企业落地的关键挑战。传统方案中，模型分发复杂、边缘推理延迟高、数据采集困难等问题阻碍了 AI 的广泛应用。上海亿琪软件有限公司的 YiCoreAI 平台 通过 YiCONNECT（管理/下发） 和 YiEDGE（推理/优化） 模块，结合英特尔 Core Ultra NPU 和 OpenVINO 技术，打造了一个高效、通用、安全的云边端解决方案，适配零售、安防、物流、教育等多样化场景。

目录

• 演示视频

• 挑战：模型管理与边缘推理的痛点

• YiCONNECT：高效管理与分发

  • 技术实现

  • 优势

• YiEDGE：低延迟边缘推理与优化

  • 技术实现

  • 推理成果

• 通用性与安全性

演示视频

挑战：模型管理与边缘推理的痛点

企业在 AI 部署中面临以下难题：

• 分发复杂：模型从云端到边缘设备的分发流程繁琐，耗时长，难以动态管理。

• 推理延迟：边缘设备性能有限，推理延迟高（如 >100ms），无法满足实时需求。

• 数据采集：多源数据（如图像、文本、传感器）采集和处理复杂，难以支持通用场景。

YiCONNECT：高效管理与分发

YiCONNECT 是 YiCoreAI 平台的核心管理模块，基于 Kubernetes 和 Kubeflow 技术，结合英特尔硬件支持，实现了模型的高效分发和设备管理。

技术实现

• Kubernetes 调度：利用 gpu.intel.com/i915 驱动，动态分配资源，将模型分发至 100 台 YiEDGE 设备，耗时 <5 分钟。

• Web 仪表板：通过 Nginx 和 MJPEG 流技术，实时监控设备状态和分发进度，支持动态调整。

• Docker 容器化：模型和依赖封装为 Docker 镜像，确保跨设备兼容性。

优势

• 高效：100 台设备分发耗时 <5 分钟，相比传统方案（30 分钟）提升 6 倍效率。

• 通用：支持多种模型（如 YOLOv8/v11、Qwen-7B）和设备类型（Raspberry Pi 4 等）。

YiEDGE：低延迟边缘推理与优化

YiEDGE 是 YiCoreAI 的边缘推理模块，利用英特尔 Core Ultra NPU 和 OpenVINO 技术，结合 EdgeX Foundry 实现多源数据采集和高效推理。

技术实现

• Core Ultra NPU：内置神经处理单元，推理性能提升 2.2 倍，延迟低至 40ms。

• OpenVINO 优化：通过 INT8 量化技术，降低 YOLOv8/v11 和 Qwen-7B 模型资源占用，提升推理速度。

• EdgeX 数据采集：支持 device-s7 和 device-opc-ua 协议，采集图像、文本、传感器数据，适配多样化场景。

推理成果

• YOLOv8/v11（对象检测）：在边缘设备上 FPS 达 70，适用于库存管理、视频监控等场景。

• Qwen-7B（智能问答）：推理延迟 40ms，可用于客服、教育问答等领域。

通用性与安全性

• 通用性：支持多种数据类型（图像、文本、传感器）和模型，适配零售、安防、教育等场景。

• 安全性：边缘推理减少云端数据传输，降低隐私风险，EdgeX 协议支持安全采集。