多卡联动,显存翻倍!解读英特尔锐炫Pro B60如何让AI自动Debug
多卡联动,显存翻倍!解读英特尔锐炫Pro B60如何让AI自动Debug
多卡联动,显存翻倍!解读英特尔锐炫Pro B60
Qi Lin:大家好,我是在英特尔负责显卡的Qi Lin。JP,请您介绍一下自己好吗?
J.P. Xu:我是英特尔中国客户端计算事业部高级产品总监JP,我负责显卡和客户端的产品。
Qi Lin:我们今天宣布了什么产品?
J.P. Xu:我们今天在Computex 上发布了英特尔锐炫Pro B60和B50 GPU,B60主要针对推理工作站。我们发布了代号Battlematrix(战斗阵列)的整体解决方案,这是一个软硬一体化的解决方案,面向企业级推理市场。
Qi Lin:推理工作站的用途是什么?
J.P. Xu:推理工作站主要为企业做AI推理解决方案。在AI快速发展的背景下,企业对AI的需求巨大,推理工作站是一个相对低成本的边缘服务器解决方案,它提供了硬件和软件一体的优化和整合。它基于英特尔至强工作站,搭配英特尔锐炫多卡解决方案。我们通过软件方案实现了多达8张显卡的协同工作,并达到了卓越的性能。同时,在硬件之上有多层软件,包括英特尔的软件以及PyTorch、VLM推理等工业标准软件栈,我们对此进行了整体的整合和优化,方便企业用户一键部署AI解决方案。
Qi Lin:这么复杂的软件,以后客户如何更新呢?
J.P. Xu:我们会定期通过容器的解决方案推进软件的更新,便于客户软件升级。
Qi Lin:可以讲一个推理工作站的应用案例吗?
J.P. Xu:推理工作站有很多应用案例,比较典型的是,企业构建自己的企业知识库并设计智能体工作流(Agentic Workflow)。还有更加令人兴奋的例子:我们在做设计或者编程的过程中,当程序出现Bug时,工作人员需要人工去解Bug、修复Bug。现在,AI推理工作站也可以提供这样的功能。我们可以设计一个很复杂的智能体工作流,配合不同的RAG系统,从Bug的Triage到debug的工作,再到修复测试,一整套自动的解决方案都可以通过推理工作站来实现。
Qi Lin:可以讲讲推理工作站的B60大概长什么样吗?
J.P. Xu:我现在可以给大家演示两款B60的显卡。我们有很多合作伙伴在这一次的Computex带来了他们的显卡。我这里举两个例子,一个是撼与科技的单风扇解决方案,一个是来自于蓝戟的被动散热解决方案。我想用这两个例子说明,一方面,英特尔与合作伙伴大力配合进行多元创新,我们不对合作伙伴做限制。另一方面,AI的发展非常迅速,需要一个多元化的解决方案,英特尔将与整个生态一起联合创新。
Qi Lin:有这么多合作伙伴,我们什么时候可以买到这些产品?
J.P. Xu:我们将在Q3开始提供。我们在推动英特尔的芯片量产和合作伙伴的显卡量产,再加上我们刚刚说到的软件栈的成熟度。
Qi Lin:您可以说一下B60是怎么做出来的,跟我们以前的产品有什么不一样吗?
J.P. Xu:B60为AI市场设计,AI市场对大显存的需求非常大,所以B60特意带来了相比上一代产品多一倍的显存。它拥有24GB的显存,同时它支持PCIe Gen 5的高速带宽传输。考虑到我刚刚提到的AI需要多显卡一起工作,那么多显卡之间的传输速率就变得非常重要,所以我们提供了硬件和软件一体化的解决方案,来实现最大的性能。
Qi Lin:多显卡有什么好处,为什么要多显卡?
J.P. Xu:多显卡主要应用于AI领域,尤其是企业级AI应用中,模型都非常庞大,1张、2张甚至是4张显卡都没有办法容纳整个模型。所以,我们有时需要利用8张显卡的显存,来解决AI模型的推理问题。这涉及到8张显卡如何协同工作,需要用到P2P的PCIe技术,同时也需要用到我们专门针对大模型并行计算的软件的优化方案。
Qi Lin:JP,我们刚刚讨论过Battlematrix的展示,你能介绍一下这个展示台展示了什么吗?
J.P. Xu:好的。这就是Battlematrix,由4张英特尔锐炫B60 GPU、英特尔至强W平台和配套软件组成。Battlematrix解决了什么实际问题呢?比如Lunar Lake的RVP(Reference Validation Platform,参考验证平台),遇到了一个VVC代码的Bug,我们利用了Battlematrix的系统来帮助Triage、Debug、代码修复,解决Lunar Lake的问题。这里连接的是一个工程师的工作电脑。
Qi Lin:刚刚屏幕出现了花屏,您可以告诉我们发生了什么,以及现在在做什么吗?
J.P. Xu:花屏是Lunar Lake VVC代码的一个Bug,当Bug出现的时候它就花屏了。我们设计了一套包含很多个步骤的智能体工作流来解决这个问题。它里面有四个Agent,分别是Triage Agent、Debug Agent、Design Agent和Coding Agent,来一步一步地解决这个问题。同时,和这些Agent配合的,还有四个RAG系统,有Log RAG、Debug BKM RAG、Graph RAG、Code Graph RAG,来支持智能体工作流,帮忙从几万行的代码中找到问题并提供解决方案,同时完成测试,最终解决这个问题。
Qi Lin:是不是会节省工程师的很多时间?
J.P. Xu:对,这样我们的工程师就可以把更多的时间放在更重要的创新上面,这种情况在行业里已经真实发生了,这就是为什么我们认为推理工作站的市场前景非常大。
Qi Lin:谢谢JP。
©英特尔公司,英特尔、英特尔logo及其它英特尔标识,是英特尔公司或其分支机构的商标。文中涉及的其它名称及品牌属于各自所有者资产。
更多推荐
所有评论(0)