Meta 的吉瓦级豪赌:Prometheus 超级集群如何把 100 万块 GPU 拧成一台机器

2026.10.20 07:06
2026 年 10 月 19 日,Meta 披露其位于俄亥俄州新奥尔巴尼的 Prometheus 吉瓦级超级集群:第一阶段已完成并训练出 Muse 基础模型家族,终局规模约 100 万块 GPU。文章拆解其三代硬件平台、goodput 与 MTBI 背后的系统工程,以及液冷和能源约束如何把 AI 基础设施竞争推向“系统工程”阶段。

在俄亥俄州新奥尔巴尼,Meta 正在建造一台“机器”。它不是传统意义上的设备,而是由数十万块 GPU、数英里光纤和几栋建筑拼起来的超级集群——Prometheus。这台机器目前的第一阶段已经完成,训练出了 Muse 基础模型家族;而它的终局,是约 100 万块 GPU 在同一个网络里同步运转。

这不是一个关于“堆硬件”的故事。真正的问题是:当集群规模大到吉瓦级,任何一个主机出问题都会拖慢甚至中断整个训练任务,你怎么让这台机器不“散架”?

Meta 给出的答案是一组冷冰冰的数字:预训练 goodput 超过 85%,强化学习 goodput 超过 90%,平均中断间隔(MTBI)达到约 4.7 万 GPU 小时,固件修复后进一步拉到 5.4 万 GPU 小时以上。

这些数字背后,是 AI 基础设施竞争进入新阶段的信号:算力军备竞赛的下半场,比的不再是谁买到的 GPU 更多,而是谁能把百万块 GPU 真正变成一台可用的机器。

从普通数据中心到前沿模型训练基地

两年前,新奥尔巴尼还是一个跑 web 流量的常规数据中心。今天,它成了 Meta 迄今为止最雄心勃勃的 AI 基础设施项目所在地。

这种转变不是简单的“换显卡”。随着硬件、网络和建筑设计的进步,Meta 把这个站点重新改造成了前沿模型的训练基地。Prometheus 不是一次性建成的,而是分阶段推进。第一阶段已经完成,并且已经用于训练 Muse 基础模型,包括在个人和专业 agent 任务上达到最先进水平的 Muse Wonder。

第一阶段完成后,Meta 的目光已经转向下一代前沿模型。Prometheus 将继续扩容,为 Meta Superintelligence Labs 的后续模型做准备。

把这两件事放在一起看,冲击力在于:一个原本承载 web 流量的数据中心,在两年内变成了训练前沿模型的吉瓦级超级集群。这种速度本身,就是 AI 基础设施迭代节奏的缩影。

三代硬件同台,算力密度每代都在跳

Prometheus 目前部署了两个 NVIDIA GPU 平台,第三个基于 Vera Rubin NVL72 的平台即将通过 San Miguel 平台加入现有网络。这三代硬件,每一代都是一次性能和能效的代际跨越。

第一代 Catalina 基于 NVIDIA GB200 NVL72。Meta 部署的是 Ariel 变体——一个双机架配置,每个机架 36 块 GPU 通过 NVLink 互联,形成一个统一的 72-GPU 域。它的规格是:72 块 Blackwell GPU,13.4 TB HBM3e(每 GPU 192 GB),720 PFLOPS FP8 峰值训练算力(FP4 为 1440 PFLOPS),130 TB/s NVLink 带宽,576 TB/s 聚合内存带宽,双机架总功耗约 120 kW。

这里有一个容易被忽略的选择。GB200 NVL72 在 FLOPS、HBM 带宽、scale-up 带宽和 scale-up 域规模上都远超 H100,但每 GPU 的 scale-out 带宽却停留在 400G。Meta 预计这种不平衡会拖累性能,所以选择了 Ariel 配置:每 GPU 配 2 块 ConnectX-7 400G 网卡,以 1:1 的 CPU-GPU 比例提供 800G 的 I/O。这让 Meta 比行业更早部署了每 GPU 800G 的 scale-out 带宽。

第二代 Clemente 升级到 NVIDIA GB300 NVL72。HBM 容量从每 GPU 192 GB 提升到 288 GB,提升 1.5 倍;密集 FP4 吞吐量也提升相近幅度;注意力(softmax)加速大约翻倍。在平台层面,scale-out 不再是瓶颈:NVIDIA ConnectX-8 SuperNIC 原生提供每 GPU 800G,Ariel 上提前部署的能力成了基线。加上 2:1 的 GPU-CPU 比例,Clemente 可以把完整的 72-GPU 域塞进一个机架。它的规格是:72 块 Blackwell Ultra GPU,20.7 TB HBM3e,超过 1 exaFLOP 的 FP4 峰值算力,130 TB/s NVLink 带宽(每 GPU 1.8 TB/s 双向),机架功耗约 135 kW,性能比 GB200 NVL72 提升 5-10%。

第三代 San Miguel 将引入 NVIDIA Vera Rubin NVL72,直接接入 Prometheus 现有网络。这代平台的数字更夸张:72 块 Vera Rubin GPU,每 GPU 288 GB HBM4 和 19.2 TB/s 带宽,每机架 2.52 exaFLOPS FP4 训练算力、1.26 exaFLOPS FP8,216 TB/s NVLink 带宽(每 GPU 3 TB/s 双向),约 1500 TB/s 聚合内存带宽,全液冷计算托盘,每机架功耗超过 170 kW,能效比 GB300 NVL72 提升 10-20%。

从 120 kW 到 135 kW 再到超过 170 kW 每机架,功耗密度在持续爬升。这意味着,光有芯片不够,你得有能“喂饱”并“冷却”它们的系统。

吉瓦级集群的真正难题是“不散架”

大型训练任务要求一切都要最优运转才能维持性能。一个主机出问题,就可能拖慢甚至停止整个任务,降低“goodput”(有效产出率)。

这就是吉瓦级集群的真正难题:规模越大,故障概率越高;而一次故障可能让整个集群停下来等你。所以 Meta 把重点放在提高系统的稳定性和可靠性上。

结果是:Muse Wonder 的预训练 goodput 超过 85%,强化学习 goodput 超过 90%。在这些训练过程中,整体挂钟 MTBI 达到约 4.7 万 GPU 小时。此后 Meta 在整个集群范围落地了更多改动,包括固件修复,把 MTBI 提升到 5.4 万 GPU 小时以上。

4.7 万 GPU 小时是什么概念?做一个粗略估算:如果集群有 10 万块 GPU,相当于平均每 28 分钟左右就会发生一次中断。但通过快速恢复和容错机制,训练任务不会因此前功尽弃。goodput 超过 85% 意味着,大部分 GPU 时间都花在了实际计算上,而不是浪费在故障恢复上。

这背后是一整套系统工程:从固件修复到网络容错,从稳定性设计到可靠性优化。这些工作不性感,但决定了百万块 GPU 是资产还是负担。

液冷、光纤和“单一机器”幻觉

Prometheus 由横跨多栋互联建筑的数十万块 GPU 组成,包括传统数据中心建筑、AI 优化建筑和快速部署结构。它们通过数英里光纤紧密连接,作为一台机器运转。

这种“单一机器”的幻觉,是超级集群设计的核心。对训练任务来说,它不关心 GPU 在哪栋楼里,只关心能不能像在同一个机箱里那样通信。

冷却是另一个关键。因为 Prometheus 是在自由通风的数据中心、快速部署结构、租赁容量和一个自建 AI 建筑上快速组装起来的,不同建筑的冷却方式不同。老旧空间使用模块化空气辅助液冷;AI 优化建筑使用闭环设施液冷。Meta 称闭环液冷是冷却 GPU 服务器最高效、也是最节水的方式。

Meta 还通过开放计算项目(OCP)开源了 IcePack 液冷网络机架等设计。这符合它一贯的打法:把基础设施设计开源,换取行业生态的跟随和供应链的成熟。

能源方面,Meta 称在两个站点支付全额能源成本,并用新的清洁和可再生能源项目匹配消耗。不过,Meta 没有公布站点级的 PUE 或用水量数据。

Hyperion 在下一站,竞争进入“系统工程”阶段

Prometheus 的经验正在流向下一个项目。Hyperion 是 Meta 在路易斯安那州 Richland Parish 从零设计的超级集群,采用闭环液冷、通过 Entergy 实现完整电网连接,以及下一代网络设计。

这意味着,AI 基础设施的竞争已经从“抢 GPU”进入“系统工程”阶段。谁能把百万块 GPU 稳定地拧成一台机器,谁才有资格谈下一代模型。

这也意味着,代际硬件的快速混部成为常态。GB200、GB300、Vera Rubin 三代同堂,要求网络、冷却、调度都能兼容不同代际的硬件。这对系统设计能力提出了更高要求。

更重要的是,能源和冷却成了硬约束。每机架功耗从 120 kW 爬到 170 kW 以上,吉瓦级集群的选址、电网连接、冷却方案,成了和芯片采购同等重要的战略决策。

对于行业观察者来说,接下来要关注的不是 Meta 又买了多少 GPU,而是这些数字:goodput 能不能再往上走,MTBI 能不能继续拉长,以及 Hyperion 能不能把 Prometheus 的经验复制并放大。

算力军备竞赛的上半场,赢家是下单最快的人;下半场,赢家是能让 100 万块 GPU 像一块芯片那样同步运转的人。Prometheus 只是第一座里程碑,真正的比赛,现在才开始。

作品声明:内容由AI生成