百万处理器变成一台计算机:华为发布Peerium架构,重构AI集群互连效率(百万级处理器) szthrk.cn

9月17日,华为正式发布面向AI时代构建的全新计算架构——Peerium。与常规芯片或服务器发布不同,这是一次系统级的基础创新:其核心目标是让多达百万颗处理器在逻辑上协同为一台计算机。首款基于该架构的超节点Atlas 950已经进入部署阶段,25.6万卡的集群规模,标志着这一架构已从概念走向工程化。在AI算力需求指数级增长、传统集群扩展能力逼近极限的背景下,华为选择从根本上重构计算架构,其影响并不局限于一家公司的产品线,更可能牵动整个算力基础设施的演进方向。

大规模集群的“规模诅咒”

过去几年,AI模型参数量呈爆炸式增长,训练一个万亿级参数模型,往往需要上万张加速卡同时工作。业界普遍采用的办法,是把更多处理器连接起来,用规模换能力。但规模越大,通信开销越高,协同难度越大。集群中任何一条链路拥塞、任何一个节点同步等待,都可能导致整体算力大幅空转。

在传统计算架构下,处理器之间有主从之分,计算、存储、网络各自为政,数据需要经过层层转发才能到达目标位置。这种设计在单机或小规模集群时代尚能高效运转,但在十万卡、甚至更大规模的AI集群中,已经变成制约算力效率的“隐形天花板”。业界常说的“弱扩展”与“强扩展”之分,正是对这种困境的概括:许多集群的规模可以扩大,但单位处理器的有效算力却随规模增加而衰减。华为此次明确提出“百万级处理器强扩展”,目标正是打破这一惯性——让集群规模增长的同时,性能能够同步线性提升,而不是被通信和同步开销拖垮。

Peerium的三大支柱

Peerium计算架构要想实现“百万处理器等于一台计算机”,必须解决三个根本问题:如何组织并行计算、如何管理海量内存、如何让资源高效互连。

首先是并行计算模型。传统计算模型深受图灵机范式影响,本质上是串行执行思路,而AI训练和推理是天然的大规模并行负载。华为在Peerium架构中提出了名为Nested BSP的并行模型,基于嵌套并行的思想,将多层次、多粒度的并行任务组织起来。相比传统的批量同步并行(BSP)模型,它更贴合AI集群中不同层级节点需要差异化同步节奏的现实,从而减少因全局同步带来的等待浪费。

其次是内存寻址方式。在传统集群中,每台服务器都有独立的内存空间,数据在不同节点之间传递时必须先打包、发送、再解包,这个过程不仅耗时,也极大地增加编程复杂度。Peerium引入了统一内存寻址,让集群中所有处理器共享一个逻辑上的地址空间。对上层应用而言,数据仿佛存放在同一台机器的内存中,不再需要显式搬移和复制。这一变化相当于把“分布式内存”转变为“分布式共享内存”,直接缓解AI集群中典型的“内存墙”问题。

第三是互联关系。Peerium颠覆了从诞生延续至今的主从架构,强调计算、存储和网络的平等互联。在传统架构中,CPU是中心,内存、网卡、硬盘等设备都是外围;而在Peerium架构中,CPU、NPU、内存、SSD、网卡、交换机全部处于对等地位,它们通过同一套高速总线直接对话。这种“去中心化”的关系,使得任意两个资源之间都能建立高效通信路径,不再需要请求CPU中转或经过固定层级转发。数据的流动路径被简化,通信时延和功耗也随之下降。

灵衢:让“一台计算机”成为可能的神经系统

如果说Peerium是骨架,那么“灵衢”就是贯穿其间的血液循环系统。灵衢是华为为Peerium架构专门打造的关键互联技术,其定义是一个基于开放协议、可无限扩展的高速总线,能够把CPU、NPU、内存、SSD、网卡和交换机全部连接在一起。与传统的专有互联协议相比,灵衢的开放属性为产业生态留出了空间,第三方硬件可以通过开放协议接入这一体系,形成更大的协同效应。

“可无限扩展”并非指物理上的无上限,而是通过平等互联和统一地址机制,使系统在扩展到百万级节点时仍能保持一致的通信语义。存储设备不再是被动等待计算节点发起读写的“从属设备”,网络也不再只是计算节点之间的“管道”,而是与计算、存储平级的一等资源。这种架构设计减少了数据搬移的中间环节,也在工程上为百万级节点的一致性协同提供了可能。

从架构到产品:Atlas 950与NPO

架构的最终价值,必须通过产品来验证。华为同步推出的Atlas 950超节点,是Peerium计算架构的首代产品。根据华为披露的信息,基于Atlas 950的25.6万卡超节点集群已经在部署中。这个数字本身就是一个信号:AI算力集群的规模竞赛已经进入“十万卡”阶段,而支撑这一规模的,正是全新的互联与计算范式。

更值得关注的是,基于NPO(Near-Package Optics,近封装光学)技术的Atlas 960系统已在测试中。NPO技术将光模块更靠近计算或交换芯片进行封装,能够在功耗、带宽和传输距离之间取得更好的平衡。随着处理器数量逼近百万级,节点之间的物理距离和数据交互量都会显著增长,传统的电信号互连在速率与能耗上面临物理瓶颈,光互连的引入几乎是必然选择。华为将NPO技术用于下一代超节点,表明其互联方案正在从电域向光域延伸,以应对超大规模集群对带宽和功耗的极致要求。

对通信产业意味着什么?

从通信产业视角看,AI集群规模的膨胀正在倒逼网络技术发生质变。传统数据中心网络以TCP/IP和以太网为基础,通信协议栈厚重,转发路径复杂,主要面向通用互联网业务。而AI训练流量具有高突发、多路径、长尾同步等特性,通用网络在十万卡级集群中显得力不从心。

华为将“灵衢”定义为一个开放协议,这不仅是计算领域的事,也关系到交换机、光模块、网卡等产业链环节的重新定位。在Peerium架构中,交换机和网卡不再只是“连接设备”,它们与计算芯片一样,成为平等互联的基础资源。这意味着高速总线、无损网络、内存语义通信、光互连等技术的战略权重将大幅提升。对于中国通信产业而言,这是一个清晰的信号:AI算力竞争正从单芯片算力转向系统级集群效率,互联技术已成为决定整体算力利用率的关键变量。中国在光通信、交换设备等领域已有深厚积累,但如何让这些网络技术与计算架构深度耦合,还需要更多系统级创新与生态协同。

让算力先“聚”起来

华为将“百万级处理器成为一台计算机”作为目标,本质上是想解决AI集群的“规模诅咒”:系统越大,效率越低。Peerium架构通过并行模型、内存寻址和互联关系的三重变革,试图让大规模集群的算力效率逼近单机模型。这一架构能否成为产业标准,还需要生态和时间的验证,但它无疑为AI算力基础设施提供了一条值得审视的技术路线。

华为轮值董事长徐直军对AI时代的期许是,让算力无处不在,让智能无所不及。而实现这一目标,前提是先让海量算力真正“聚”起来。从“一堆机器”到“一台机器”,这不仅是华为的解题思路,也是整个ICT产业面对AI时代必须回答的命题。