OpenVINO的安装

使用pip进行安装

在官网安装

OpenVINO的开发流程

OpenVINO模型转换器介绍

调用方式

使用命令行调用OpenVINO模型转换器：

使用python调用OpenVINO模型转换器：

如果使用pytorch：

模型的量化（压缩）

模型量化的过程（使用NNCF工具）

OpenVINO的神经网络压缩框架

NNCF工具的使用

效果展示：

将模型部署在OpenVINO上

（该代码仅供参考，实际代码可能会有所不同）

OpenVINO对生成式模型的支持

开发流程

模型转换和压缩：

模型部署：

OpenVINO的文档和事例

• docs.openvino.ai
  

  

• github.com/openvinotoolkit/openvino_notebooks
  

  

  
  

  

  
  

  

• 下载HuggingFace模型的方法
  

  

个人使用的分享

python安装过程的演示

安装过程演示

下载压缩包，解压到指定路径即可，如图所示

事例演示：
加载环境变量脚本：

编译执行：

OpenVINO Notebook的介绍

源码网址：
https://github.com/openvinotoolkit/openvino_notebooks
https://gitee.com/openvinotoolkit-prc/openvino_notebooks
网站地址：https://openvinotoolkit.github.io/openvino_notebooks
演示：
启动Notebook，具体参考https://github.com/openvinotoolkit/openvino_notebooks/wiki

LLM模型OpenVINO qwen1.5-1.8b-chat Chatbot的演示：