
安恒信息采用英特尔至强 可扩展处理器加速恒脑大模型推理 助力实现智能安全运营
在网络安全领域,大模型有望在网络安全分析、威胁检测、智能策略制定等方面扮演重要角色。但要推动大模型在安全场景落地,不仅需要基于安全领域知识,训练/微调出高质量的安全大模型,还需要面临安全大模型在用户侧部署所需的性能、成本和灵活性挑战。
白皮书下载
“目前,安恒已将人工智能提升至公司核心战略层面,着力推进恒脑 • 安全垂域大模型的研发与应用,以期增强产品竞争优势,并借此创新产品组合与解决方案设计,积极拓展既有产品和服务的功
能疆界,为客户带来更为宽广的价值创造空间。恒脑基于安恒深厚的人才积淀、丰富的实战数据以及长期积累的宝贵经验,具备卓越的自然语言交互功能、强大的泛化适应能力和精准的逻辑推理能力。值得一提的是,通过与英特尔® 至强® 可扩展处理器进行深度适配和性能优化,可有效加速恒脑推理,助力用户构建起高效能、高性价比的安全垂域大模型系统,有力驱动了网络安全效
能的整体跃升与效率改善。”
— 王欣
安恒信息研究院院长、高级副总裁
挑战
在网络安全领域,大模型有望在网络安全分析、威胁检测、智能策略制定等方面扮演重要角色。但要推动大模型在安全场景落地,不仅需要基于安全领域知识,训练/微调出高质量的安全大模型,还需要面临安全大模型在用户侧部署所需的性能、成本和灵活性挑战。
性能挑战
即使是中小规模的安全大模型,其参数规模也远超普通的 AI 模型,再考虑到大模型海量的安全知识以及巨大的事务处理需求,会带来较高的算力开销,未面向 AI 优化的算力系统难以满足模型推理的吞吐、时延等指标要求。
成本挑战
基于 GPU 的模型推理方案在性能上有突出表现,但是会带来额外成本。如果能够利用广泛部署的 CPU 资源,将有助于降低模型推理成本,获得更高的投资回报。
灵活性挑战
部署面向安全大模型的专用算力平台不仅耗费时间,而且会带来一定的部署门槛,不利于安全大模型的快速部署。
概述
安全大模型正在为网络安全行业带来深度变革,其强大的自然语言交互能力、泛化能力、推理能力,在威胁分析、报文解读、告警研判、指令转译、编排剧本生成和智能处置等方面有着出色的应用前景。但同时,安全大模型巨大的参数规模以及复杂的事务处理逻辑,对算力提出了新的需求,用户不仅希望能够达到安全大模型推理的性能目标,还希望可以尽可能降低安全大模型部署的门槛,并降低大模型部署和运营的总体拥有成本。
杭州安恒信息技术股份有限公司(以下简称:安恒信息)推出了恒脑 • 安全垂域大模型系统(以下简称 “恒脑”),可助力用户自动识别和分析安全事件,学习和适应新的威胁模式,从而提高对未知威胁的检测能力。经过适配优化,恒脑可以在基于第四代英特尔® 至强® 可扩展处理器的服务器中实现高效模型推理。测试数据显示,内建英特尔® AMX 加速器的第四代英特尔® 至强® 可扩展处理器,可以为恒脑-7b、恒脑-14b 模型的推理提供卓越支持,相较上一代产品有大约 15 倍以上的性能提升。
恒脑 • 安全垂域大模型系统
恒脑秉承让安全更智能、让智能更安全的使命,恒脑依托底层多源异构模型、算法调度引擎及海量安全知识,经过十余轮大规模增量 预训练和数十次微调,具备威胁分析、报文解读、告警研判、指令转译、剧本生成和智能处置等能力,可根据各业务场量需求从容切 换多种安全角色。
图 1. 恒脑架构
恒脑在架构设计上,创新性的引入模型适配层,使恒脑可平滑接 入多种基础模型而无需进行针对性微调,大大提升了恒脑的部署 灵活性;通过专项优化的算法调度引擎使推理任务可跨硬件、 跨平台执行,加速模型推理保护算力投资;通过融入海量安全知 识,使恒脑在安全领域具备多业务场景资深安全专家技能。
恒脑在功能开发上,通过研发智能问答、增强检索、研判驾驶 舱、智能体等功能,一方面实现安全运营的智能化、一方面实现 与客户本地知识融合,提升网络安全运营效率的同时更易于部署 在客户私网环境。
恒脑在赋能应用上,通过开放接口、插件、原子能力等方式与 现有安全产品或系统深度融合,赋能安全运营人员探索 “告警清 零”、“隐患见底”、“事件闭环” 以及其他安全运营场景可能性。
采用第四代英特尔® 至强® 可扩展处理器
加速模型推理 为了兼顾性能、成本等方面的考量,恒脑使用第四代英特尔® 至强® 可扩展处理器应对中小规模场景的模型推理需求。 第四代英特尔® 至强® 可扩展处理器通过创新架构增加了每个时 钟周期的指令,每个插槽多达 56 个核心,支持 8 通道 DDR5 内 存,有效提升了内存带宽与速度,并通过 PCIe 5.0(80 个通道) 实现了更高的 PCIe 带宽提升。第四代英特尔® 至强® 可扩展处理 器提供了出色性能和安全性,可根据用户的业务需求进行扩展。 借助内置的加速器,用户可以在 AI、分析、云和微服务、网络、 数据库、存储等类型的工作负载中获得优化的性能。通过与强大 的生态系统相结合,第四代英特尔® 至强® 可扩展处理器能够帮 助用户构建更加高效、安全的基础设施。
第四代英特尔® 至强® 可扩展处理器在 AI 性能上更进一步。该处理器内置了创新的英特尔® AMX 加速引擎。英特尔® AMX 针对广泛 的硬件和软件优化,通过提供矩阵类型的运算,显着增加了人工智能应用程序的每时钟指令数 (IPC),可为 AI 工作负载中的训练和推 理上提供显著的性能提升。
图 2. 英特尔® 至强® 可扩展处理器为数据中心提供多种优势
在实际的模型推理场景中,恒脑采用了英特尔® 至强® CPU Max 9462 处理器,该处理器可支持高带宽内存 (HBM)。HBM 和 DDR5 相比,具多更多的访存通道和更长的读取位宽,理论带宽 可达 DDR5 的 4 倍1 。处理器具有 64 GB HBM,每个内核可以分 摊到超过 1 GB 的内存,对于包括大模型推理任务在内的绝大多 数计算任务,HBM 可以容纳全部的权重数据,显著提升访存限 制型的计算任务的性能。 安恒信息对比了第二代/第四代英特尔® 至强® 可扩展处理器运行 恒脑推理的性能,测试数据如图 3 所示,第四代英特尔® 至强® 可扩展处理器的模型推理性能实现了 15 倍左右的提升2 ,生成速 度可以满足实际应用所需。
图 3. 恒脑推理生成速度测试
目前,采用第四代英特尔® 至强® 可扩展处理器的恒脑在智能问答、事件总结报告生成、报文研判等实际场景中得到了广泛应用。
图 4. 恒脑实现智能问答
图 5. 恒脑实现安全事件总结报告智能生成
收益
恒脑利用英特尔® 至强® 可扩展处理器进行推理加速,用户能够获得以下价值: • 用户能够高效处理百亿级别的安全知识条目,满足智能问答、事件总结报告生成等应用对于性能的需求。 • 用户可高效利用现有的 CPU 服务器资源进行推理,降低 AI 加速器部署与运维带来的成本压力,实现更高的投资收益。 • 用户可获得由 AI 扮演的安全运营专家、安全渗透专家、安全培训导师等安全角色,从而提升安全运营能力,护航网络 安全。
展望
《中国安全大模型技术与应用研究报告 (2023)》认为,目前安 全大模型落地场景以安全运营为主,一类是由安全大模型扮演“安 全运营专家” 的角色,结合安全知识库,形成安全助手类产品, 另一类是利用安全大模型提升安全检测及防御工作效率,涵盖入 侵检测、恶意软件检测、漏洞扫描、暴露面监测等安全任务,在 以上两类任务场景,搭载英特尔® 至强® 可扩展处理器的恒脑为用户提供了高效、高性价比、灵活的安全大模型部署选项,可助 力用户自动识别和分析安全事件,学习和适应新的威胁模式,从 而提高对未知威胁的检测能力。
未来,安恒信息将与英特尔在安全大模型方面进行进一步合作, 包括采用新一代硬件平台,对于性能瓶颈进行软件优化等,以期 进一步释放安全大模型的巨大价值。
关于安恒信息
杭州安恒信息技术股份有限公司成立于 2007 年,于 2019 年登陆科创板。作为行业领导者之一,安恒信息以 DAS(D 即 Datasecurity - 数据安全、A 即 AI、S 即 SecurityServices - 安全运营服务)为企业核心战略支撑,构建起了涵盖网 络安全、数据安全、云安全、信创安全、密码安全、安全服务等数字安全能力,为逾 10 万家政企单位提供数字安全产品 及服务。
关于英特尔
英特尔 (NASDAQ: INTC) 作为行业引领者,创造改变世界的技术,推动全球进步并让生活丰富多彩。在摩尔定律的启 迪下,我们不断致力于推进半导体设计与制造,帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和 各种计算设备,我们释放数据潜能,助力商业和社会变得更美好。如需了解英特尔创新的更多信息,请访问英特尔中国 新闻中心 newsroom.intel.cn 以及官方网站 intel.cn。
实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.Intel.com/PerformanceIndex 性能测试结果基于配置信息中显示的日期进行测试,且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝 对安全的。 具体成本和结果可能不同。 英特尔技术可能需要启用硬件、软件或激活服务。 英特尔未做出任何明示和默示的保证,包括但不限于,关于适销性、适合特定目的及不侵权的默示保证,以及在履约过程、交易过程或贸易惯例中引 起的任何保证。 英特尔并不控制或审计第三方数据。请您审查该内容,咨询其他来源,并确认提及数据是否准确。 © 英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。其他的名称和品牌可能是 其他所有者的资产。
更多推荐
所有评论(0)