OpenVINO套件的使用(来自英特尔杯的培训)
OpenVINO的安装 使用pip进行安装 在官网安装 OpenVINO的开发流程 OpenVINO模型转换器介绍 调用方式 使用命令行调用OpenVINO模型转换器: 使用python调用OpenVINO模型转换器: 如果使用pytorch: 模型的量化(压缩) 模型量化的过程(使用NNCF工具)
·
OpenVINO的安装
使用pip进行安装
在官网安装
OpenVINO的开发流程
OpenVINO模型转换器介绍
调用方式
使用命令行调用OpenVINO模型转换器:
使用python调用OpenVINO模型转换器:
如果使用pytorch:
模型的量化(压缩)
模型量化的过程(使用NNCF工具)
OpenVINO的神经网络压缩框架
NNCF工具的使用
效果展示:
将模型部署在OpenVINO上
(该代码仅供参考,实际代码可能会有所不同)
OpenVINO对生成式模型的支持
开发流程
模型转换和压缩:
模型部署:
OpenVINO的文档和事例
docs.openvino.ai
github.com/openvinotoolkit/openvino_notebooks
下载HuggingFace模型的方法
个人使用的分享
python安装过程的演示
安装过程演示
下载压缩包,解压到指定路径即可,如图所示
事例演示:
加载环境变量脚本:
编译执行:
OpenVINO Notebook的介绍
源码网址:
https://github.com/openvinotoolkit/openvino_notebooks
https://gitee.com/openvinotoolkit-prc/openvino_notebooks
网站地址:https://openvinotoolkit.github.io/openvino_notebooks
演示:
启动Notebook,具体参考https://github.com/openvinotoolkit/openvino_notebooks/wiki
LLM模型OpenVINO qwen1.5-1.8b-chat Chatbot的演示:
更多推荐
所有评论(0)