AI大模型的研发与迭代越来越离不开极端算力的支撑，这一点从OpenAI近期披露的预算数据中就能直观感受到。OpenAI总裁格雷格·布罗克曼最近在公开场合透露，公司2024年预计在算力资源上投入高达500亿美元——这个数字不仅刷新了行业纪录，也清晰地显示出顶尖AI企业在技术竞争中面临的财务门槛正呈几何级攀升。
算力预算的大幅提升，直接反映了OpenAI在大模型研发上的技术需求。目前像GPT-4这样的先进模型，训练时需要处理万亿级参数和海量数据，单次训练消耗的算力能达到数千PFlops（每秒千万亿次浮点运算），后续的推理服务也需要持续的高算力支撑。拿NVIDIA H100 GPU来说，单卡算力约330 TFLOPS（每秒万亿次浮点运算），要支撑大规模模型训练，得用数千甚至数万台芯片组成集群。按H100芯片单价约4万美元算，光是硬件采购就占了预算的很大一部分，再加上数据中心建设、电力消耗、冷却系统维护等配套成本，开销可想而知。
OpenAI这次大幅增加算力预算，核心原因是为了下一代大模型（比如传闻中的GPT-5）的研发。麦肯锡研究院的报告显示，AI模型的算力需求每10个月就翻一番，随着模型参数规模扩大和训练数据增多，算力需求正呈指数级增长。另外，ChatGPT这类产品的用户规模还在持续扩大，每天的推理请求量达到数亿次，需要足够的算力来保证服务稳定运行。
这个预算数字也折射出AI行业竞争格局的深刻变化。500亿美元的算力投入，远远超过了大多数科技公司的年度研发预算，小型企业或初创公司根本无力参与顶尖大模型的研发，行业集中度因此进一步提升。算力需求的激增还带动了上游芯片产业的繁荣，NVIDIA 2023年数据中心业务收入同比增长279%，达到475亿美元，AI芯片是其中的核心增长动力。
就在OpenAI加大投入的同时，竞争对手们也在加速布局。谷歌DeepMind为了研发Gemini模型投入了大量算力，据《华尔街日报》报道，它的训练集群里包含超过10万台TPU芯片；Meta虽然通过开源LLaMA模型降低了行业准入门槛，但自己也在持续投入算力优化模型性能；国内方面，字节跳动为豆包大模型搭建了数万张GPU的集群，百度文心一言的算力支撑也达到了千卡级规模。
行业的最新动态显示，算力基础设施的升级还在持续进行。NVIDIA在2024年3月发布了H200 GPU，内存容量提升到141GB（比H100增加了约30%），算力性能也同步提升，预计会成为OpenAI下一代模型训练的核心硬件。微软Azure则在建设专门的AI超级计算中心，配备超过10万台GPU芯片，用来满足OpenAI等合作伙伴的算力需求。
快报