OpenVINO的安装

使用pip进行安装

在官网安装

OpenVINO的开发流程

OpenVINO模型转换器介绍

调用方式

使用命令行调用OpenVINO模型转换器：

 使用python调用OpenVINO模型转换器：

 如果使用pytorch：

模型的量化（压缩）

 

模型量化的过程（使用NNCF工具）

OpenVINO的神经网络压缩框架

NNCF工具的使用

 效果展示：

将模型部署在OpenVINO上

（该代码仅供参考，实际代码可能会有所不同）

 

 

OpenVINO对生成式模型的支持

 

开发流程

 模型转换和压缩：

 模型部署：

OpenVINO的文档和事例

•  docs.openvino.ai

•  github.com/openvinotoolkit/openvino_notebooks

 

 

•  下载HuggingFace模型的方法

个人使用的分享

python安装过程的演示

安装过程演示

下载压缩包，解压到指定路径即可，如图所示

 事例演示：

• 加载环境变量脚本：

• 编译执行：

OpenVINO Notebook的介绍

 源码网址： https://github.com/openvinotoolkit/openvino_notebooks https://gitee.com/openvinotoolkit-prc/openvino_notebooks 网站地址：https://openvinotoolkit.github.io/openvino_notebooks 演示： 启动Notebook，具体参考https://github.com/openvinotoolkit/openvino_notebooks/wiki

 LLM模型OpenVINO qwen1.5-1.8b-chat Chatbot的演示：