登录社区云,与社区用户共同成长
邀请您加入社区
作为智汇金陵· AI开源人才峰会 的一部分,本次活动由英特尔联合魔搭社区共同呈现,吸引了众多开发者、技术专家与合作伙伴齐聚一堂,共同探讨 AI PC 时代的技术趋势与端侧智能体的落地实践。
EAGLE-3作为新一代投机解码(speculative decoding)技术的重要突破,其核心价值在于突破了传统投机解码依赖完全独立草稿模型的技术局限。
本文分享一个真实跑通的案例:在AI PC上,使用 Unsloth 进行 LoRA 微调,对 meta-llama/Llama-3.2-3B-Instruct 进行训练,让模型具备 Function Calling(工具调用) 能力,并完成推理与评测。
通义千问团队正式发布了 Qwen3-ASR 系列模型,包含 1.7B 和 0.6B 两个版本。作为 Qwen 语音家族的最新成员,它在多语言识别和处理复杂声学环境方面展现了卓越的性能。
OpenVINO™ 已完成 PaddleOCR-VL-1.5 的 Day 0 适配,并在英特尔® 酷睿™ Ultra 3系列上部署端到端文档解析流水线。
本文会通过实时语音翻译示例,带你一步步了解如何通过 Intel® OpenVINO™ 工具,把这两个模型优化成更轻量、推理更快、部署更灵活的版本,从而在 AIPC 上获得理想的性能。
如需获取适配的 Archive 版本库文件,可访问官方文档地址(https://openvinotoolkit.github.io/openvino.genai/docs/getting-started/installation),根据自身操作系统及版本下载对应的归档包;目前,开发者需要自行下载该项目,将其源代码中的 src 文件夹复制到自己的代码当中,以便更好地利用 OpenVINO™ Java
Z-Image-Turbo是阿里巴巴通义实验室最新发布的高性能文生图模型。它基于先进的Diffusion Transformer架构,拥有60亿参数,核心特性在于仅需极少的推理步数(通常8至10步)即可快速生成细节丰富、质感逼真的高质量图像。Z-Image-Turbo模型非常适配AI PC场景,目前已针对搭载Intel Core Ultra处理器的平台进行优化,能够充分利用其内置的CPU与GPU进
本文更聚焦于 “落地实用性”:手把手教你如何借助 OpenVINO™ 工具,将这款优秀的翻译模型成功部署在 Intel 平台上实现高效推理。
【开篇寄语】本文为 OpenVINO™ 社区开发者的实践分享,内容基于作者在真实项目中的经验整理。作为开源AI工具套件,OpenVINO™欢迎大家结合自身场景验证、交流、分享,共同推动技术实践进步。
100个端侧AI脑洞,个个能打!
WWB工具全称为who_what_benchmark,是OpenVINO™ GenAI中的生成式AI模型简易准确率基准测试工具,主要用于评估转换或量化压缩后模型与原版模型的相似度,也是社区优选模型的重要评审工具。
在 PC 上运行生成式 AI,从未如此简单与强大
通过在生成阶段就保证结果的正确性,结构化输出消除了脆弱的后处理解析逻辑和“生成错误后重试”的循环,从而带来更安全的自动化、更快的响应时间以及更易集成的工作流程。无论是在 AI PC 本地运行、边缘设备上部署,还是通过 OVMS 提供服务,你都可以用几行代码轻松启用结构化输出——没有格式错误的 JSON,没有重试的麻烦,只有正确与高效,全面释放英特尔平台的潜能。通过暴露完整的词表,OpenVINO
在边缘计算的浪潮中,人工智能(AI)推理从云端向边缘设备的迁移已成为趋势,带来更低的延迟、更高的隐私保护和更优的资源效率。
今晨,阿里通义又发布了Qwen3-VL的新成员,Qwen3-VL-4B和Qwen3-VL-8B。
让我们一起看看如何通过 OpenVINO™ GenAI 快速运行 GGUF 模型推理!
伴随阿里巴巴通义实验室发布Qwen3-VL中小尺寸模型,英特尔宣布已在Day 0完成了针对该模型的适配,并实现对近期发布的Qwen3-Next模型的高效部署。
全新 OpenVINO™ 2025.3 版本,为你带来更快的上手体验和更强大的性能。
为模型在HuggingFace上的model id,这里我们也提前下载原始模型,并将model id替换为原始模型的本地路径,针对国内开发者,推荐使用ModelScope魔搭社区作为原始模型的下载渠道,具体加载方式可以参考ModelScope官方指南:https://www.modelscope.cn/docs/models/download。在部署模型之前,我们首先需要将原始的PyTorch模型
动态量化是一种强大的优化技术,能显著提升 Transformer 模型在英特尔® GPU(具备 XMX 硬件,如 Lunar Lake、Arrow Lake 以及 Alchemist、Battlemage 等系列的集成及独立显卡)上的性能。
本文将介绍如何利用OpenVINO™工具套件在本地部署混元系列模型。
通过OpenVINO™的NNCF量化工具,可以快速进行模型文件里的离线量化,量化后,我们可以得到INT4精度的OpenVINO™模型,包含.xml和.bin两个文件,相较FP16精度的模型文件,INT4精度模型尺寸仅为其1/4左右。凭借小巧的参数规模和高效的架构,MiniCPM-V4.0是移动端部署的理想选择。在部署模型之前,我们首先需要将原始的PyTorch模型转换为OpenVINO™的IR静态