AI 前沿
微软公开 Maia 300,AI 推理走向整机架优化
微软披露第三代 Maia 架构:每颗加速器配备 288GB HBM4,机架容纳 96 颗加速器。微软称其完整机架配置相较 Maia 200 可获得最高 7 倍的 token 吞吐量。
微软于 10 月 12 日披露第三代 Azure Maia 加速器 Maia 300 的系统设计。它面向大模型推理,将芯片、内存、网络、机架和软件共同规划。微软另行宣布,自 2027 年开始把 Maia 系列扩展到多吉瓦级部署;这是后续建设计划,并非表示这些新增容量已经全部投入运行。
单颗 Maia 300 配备八组 HBM4,提供 288GB 内存和每秒 18TB 带宽;完整机架容纳 96 颗加速器,功率为 167kW。它采用多芯粒设计,将计算与内存控制、输入输出功能分别安排在适合的芯片上,并通过软件控制数据放置和搬运。
这些设计针对长上下文、推理和多步骤智能体任务。模型运行不只是进行乘法运算,还要反复读取权重、保留上下文状态,并让多颗芯片交换数据。Maia 300 增加内存带宽、支持更低精度的数据表示,并允许处理输入与生成输出的工作分开配置。
微软称,在完整的 96 加速器机架配置下,Maia 300 相较 Maia 200 可达到最高七倍的 token 吞吐量,以及超过 2.5 倍的每瓦性能。比较单位是整个机架,不能直接解释成单芯片快七倍。上述数字来自微软公布的评估;本次公告主要介绍云端基础设施,并未提供面向个人用户的零售购买方案。