腾讯会议携手 OpenVINO™ 激活 NPU 算力,打造更加智能的会议系统
线上会议系统是当前企业或是个人最常用的办公软件之一,通过视频会议,更可以拉近与会者之间的距离。此时处于个人隐私保护的考虑,同时不妨碍面对面的交流,会议系统中往往会集成背景虚化或是背景替换等功能,隐藏与会者身处的环境,这些功能需要依赖于视觉分割模型来区分人物与背景,给电脑设备带来不小的负载挑战。
背景
线上会议系统是当前企业或是个人最常用的办公软件之一,通过视频会议,更可以拉近与会者之间的距离。此时处于个人隐私保护的考虑,同时不妨碍面对面的交流,会议系统中往往会集成背景虚化或是背景替换等功能,隐藏与会者身处的环境,这些功能需要依赖于视觉分割模型来区分人物与背景,给电脑设备带来不小的负载挑战。
腾讯会议与英特尔的合作,正是在这样的背景下展开的。通过利用英特尔的开源 AI 工具套件 OpenVINO™ ,腾讯会议将人像分割模型有选择性地部署在酷睿 Ultra 处理器中的 NPU (神经处理单元)上,在保证模型推理任务实时性的同时,分担 CPU的负载压力,同时进一步降低了开启背景虚化功能后的整体功耗,提升电脑在办公任务下的续航能力。
OpenVINO™ 与腾讯会议
OpenVINO™ 是英特尔推出的针对深度学习模型进行优化、推理加速以及快速部署的开源工具套件。利用 OpenVINO™ 工具套件,腾讯会议在其系统中实现了:
- 基于深度学习的实时人像分割优化与推理加速
OpenVINO™ 提供了一系列的模型优化工具,可以有效减小图像识别与分析中使用到的深度学习模型的尺寸,并加快推理速度,提升人像分割任务的实时性。首先,利用 OpenVINO™ 提供的模型优化工具,例如模型转换工具、神经网络 压缩框架(NNCF)等,腾讯会议可以将训练好的人像分割模型由原始的PyTorch 模型格式转化为 OpenVINO 中间表达格式(IR 格式),实现对模型的优化压缩。经 OpenVINO™ 模型转换与优化压缩后,相对于 PyTorch 以及 ONNX 的模型格式,根据英特尔的测试,主流开源模型( 例如 : Llama , ChatGLM 等)占用体积可以减小 50% 左右。由此,模型在运行推理时的推理速度也可以提到显著提升,提升幅度达到 20% 以上。
- 基于 NPU 平台的模型性能和功耗优化
OpenVINO™ 的另一个重要特点是其支持跨平台的模型部署能力,无需重写大量代码,可以实现深度学习模型的无缝迁移,做到 “一次编写,任意部署” ,这对于在人像分割任务能否在不同硬件平台流畅运行尤为重要。特别是针对新一代酷睿 Ultra 处理器中的 NPU 的支持。这使得腾讯会议可以轻松将优化后的深度学习模型部署到各种硬件平台上,包括但不限于英特尔和 ARM 架构的 CPU 以及英特尔的 GPU 。自OpenVINO™ 2024.0 的版本开始,深度学习模型可以很方便的部署在英特尔酷睿 Ultra 平台中的 NPU 上。由于 NPU 具有低功耗的特点,腾讯会议的深度学习模型可以在 NPU 上实时完成人像分割,且保持较低的耗电量,为搭载了酷睿 Ultra 的用户设备提供较高的能效利用率。同时,将深度学习模型推理迁移到 NPU 上,也很好地释放了 CPU 上的工作负载,使得 CPU 的占用率在会议过程中仍然保持较低的水平,不影响用户在会议过程中处理其他办公任务。
- 基于 OpenVINO™ 的条件编译功能,压缩运行库体
考虑到软件在分发下载过程中带来的流量开销,压缩安装包的体积成为必要的优化的方向之一。为此 OpenVINO™ 运行库也提供了针对模型和硬件平台的条件编译功能(Conditional Compilation),该功能通过收集指定模型在目标硬件平台运行时,所需最小依赖的数据,实现在源码编译过程中,对于 OpenVINO™ 运行库最精简的压缩。腾讯会议在集成 OpenVINO™ 运行库的过程中也充分利用了这一功能,针对 NPU 平台在部署人像分割模型的最低依赖要求,对OpenVINO™ 运行库进行重新构建,舍弃 GPU 组件等不必要的依赖库,降低安装包在分发过程中对于流量资源的占用,优化整体成本。
关于腾讯会议
腾讯会议是腾讯公司于 2019 年推出的一款高效便捷的在线视频会议工具。上线 245 天,腾讯会议用户数突破 1 亿,成为最快超过 1 亿用户的视频会议产品。自上线以来,已服务 4 亿+ 用户,服务范围覆盖全球 220 多个国家和地区,完成 25 亿+次在线协同,腾讯会议正逐渐深入应用于企业协同、生产环节,助力千行百业数字化、智能化、智慧化。通过不断的技术创新和产品功能的精益求精,腾讯会议持续助力企业探索新商业模式、实现降本增效,并协助企业拓展业务边界,走向全球。
关于英特尔
英特尔 ( NASDAQ : INTC ) 作为行业引领者,创造改变世界的技术,推动全球进步并让生活丰富多彩。在摩尔定律的启迪下,我们不断致力于推进半导体设计与制造,帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备,我们释放数据潜能,助力商业和社会变得更美好。如需了解英特尔创新的更多信息,请访问英特尔中国新闻中心newsroom.intel.cn 以及官方网站 intel.cn 。
- 实际性能受使用情况、配置和其他因素的差异影响。更多信息请www.Intel.com/PerformanceIndex
- 性能测试结果基于配置信息中显示的日期进行测试,且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝 对安全的。
- 具体成本和结果可能不同。
- 英特尔技术可能需要启用硬件、软件或激活服务。
- 英特尔未做出任何明示和默示的保证,包括但不限于,关于适销性、适合特定目的及不侵权的默示保证,以及在履约过程、交易过程或贸易惯例中引 起的任何保证。
- 英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。
- © 英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。其他的名称和品牌可能是 其他所有者的资产。
更多推荐
所有评论(0)