登录社区云，与社区用户共同成长
邀请您加入社区
哪吒开发板是专为支持入门级边缘AI应用程序和设备而设计，能够满足人工智能学习、开发、实训等应用场景。为了测试该开发板的推理性能，同时测试所推出的[OpenVINO™ C# API](https://github.com/guojin-yan/OpenVINO-CSharp-API)项目能否应用到该开发板上，我们使用该开发板，结合OpenVINO™ C# API的异步推理功能，加速深度学习推理速度。
多模态大模型都会将文本生成模型作为底座模型，以支持对话能力，其中千问团队近期发布的Qwen2-Audio和Qwen2-VL便是以Qwen2为底座的多模态大模型，分别支持语音/文本以及图像/文本作为多模态输入，相比上一代的Qwen-VL 和 Qwen-Audio ，基于Qwen2的多模态模型具备更强大的视觉理解以语音理解能力，并实现了多语种的支持。简单来说，多模态大模型可以可以理解多种不同模态的输入
OpenVINO™ 是一个开源工具套件，用于对深度学习模型进行优化并在云端、边缘进行部署。它能在诸如生成式人工智能、视频、音频以及语言等各类应用场景中加快深度学习推理的速度，且支持来自 PyTorch、TensorFlow、ONNX 等热门框架的模型。实现模型的转换与优化，并在包括 Intel® 硬件及各种环境（本地、设备端、浏览器或者云端）中进行部署。
本次新版本在整个 OpenVINO™ 产品系列中引入了重要的功能和性能变化，使大语言模型 （LLM） 的优化和部署在所有支持的场景中更容易、性能更高，包括边缘和数据中心环境的部署。
随着 Llama 3.2 的刚刚发布，最新的AI模型进展比以往更加易于获取。借助 OpenVINO™ 和 Optimum Intel 的无缝集成，你可以在本地 Intel 硬件上压缩、优化并运行这个强大的模型。在本指南中，我们将带你完成整个流程，从环境搭建到最终执行，帮助你以最少的努力充分发挥 Llama 3.2 的潜力。
OpenVINO™ GenAI API 提供了一个原生的 C++ 接口，消除了对 Python 依赖的需求，使开发者可以用更高效的方式创建 AI 应用程序。下面是一个基于 Windows 操作系统的分步骤指南，手把手教你如何在 C++ 中构建 OpenVINO™ GenAI 应用程序。
通过将 Agent 和 RAG 进行结合，我们直接提升 LLM 在解决复杂任务时的能力，相较于传统的 RAG，Agentic-RAG 更具产业落地价值。同时随着多智能体方法的引入，基于 Agent 的 RAG 将逐步取代传统 RAG 系统，实现更灵活，更精确的大语言模型应用业务体系。
基于 AI 的智能化、自动化人流统计在许多场景中都具有极大的实用价值。例如，在零售和购物中心中，它可以监控客流量，提升客户的购物体验；在公共交通中，它可以优化时间表并管理人群密度；在智能城市中，它有助于提升公共安全和改进城市规划。通过结合 OpenVINO™的模型优化和快速部署功能，以及搭载英特尔®酷睿™Ultra7 的 AI 开发套件的强大计算能力，实时人流统计可以轻松实现。
OpenVINO™ 是一个开源工具套件，用于对深度学习模型进行优化并在云端、边缘进行部署。它能在诸如生成式人工智能、视频、音频以及语言等各类应用场景中加快深度学习推理的速度，且支持来自 PyTorch、TensorFlow、ONNX 等热门框架的模型。实现模型的转换与优化，并在包括 Intel®硬件及各种环境（本地、设备端、浏览器或者云端）中进行部署。
不管是利用 Optimum-intel 或是 OpenVINO™ GenAI API，我们都可以非常轻松地将转换后的 Qwen2.5 模型部署在 Intel 的硬件平台上，从而进一步在本地构建起各类基于 LLM 的服务和应用。
