2026 年 7 月，一个 3.9 GB 的模型文件，承载了 270 亿参数的全部推理能力。这不是蒸馏，不是剪枝，而是一种极端的量化方式——把每个权重压缩到只有一个比特——第一次从论文走向了完整的部署流水线，从模型下载到本地推理服务器，再到 OpenAI 兼容的 API 调用，全部在一台消费级 GPU 上完成。
从 54 GB 到 3.9 GB
7 月 14 日，PrismML——一家由 Caltech 研究人员创立的初创公司——发布了 Bonsai 27B。这是基于 Qwen3.6-27B 的低比特版本，分为三元（1.71 bits/weight，理想 5.9 GB）和 1-bit（1.125 bits/weight，3.9 GB）两个变体，均在 Apache 2.0 许可下开源。作为对比，Qwen3.6-27B 的 FP16 版本需要 54 GB。仅仅两周后，7 月 28 日，一篇端到端部署教程详细展示了如何从零开始使用 PrismML 版本的 llama.cpp，在 Colab 上编译 CUDA 内核、下载 GGUF 格式权重、启动 OpenAI 兼容的本地推理服务器，并通过 Python 客户端完成流式对话和代码生成。
这套流程七步走完，一个下午能跑通。但它的深层含义远比部署教程更重：270 亿参数的大模型，现在可以在任何拥有 6 GB 以上显存的 GPU 上本地运行，甚至是一台手机。
PrismML 官方数据显示，1-bit Bonsai 27B 的语言权重仅 3.9 GB，在 iPhone 17 Pro Max 上可实现约 11 tokens/s 的推理速度。在 RTX 5090 上，1-bit 版本达到 163 tok/s；在 Apple M5 Max 上达到 87 tok/s。相比之下，许多云 API 在计入网络延迟之后，实际体验速度也不过如此。
性能保留方面，1-bit 版本在 15 项基准测试中平均保留 89.5% 的原始 FP16 表现（76.11 vs 85.07），三元版本保留 94.6%（80.49 vs 85.07）。PrismML 还引入了一个智能密度（intelligence density）指标——以每 GB 承载的推理能力来衡量——1-bit 版本达到 0.530/GB，是传统压缩方案 IQ2_XXS 的 2.7 倍，是 FP16 的 10 倍以上。
RTX PRO 6000 上的 llama-bench 测试进一步印证了性能：1-bit Q1_0 格式的 128-token 解码速度达到 133.7 tok/s（主分支），而 PrismML 优化分支更进一步，达到 145.5 tok/s。即使在 DGX Spark 这样的受限设备上，也能以 42.8 tok/s 的速度运行。
1-bit 量化：从能不能到怎么用
1-bit 量化并非新鲜事物。微软的 BitNet 早在 2024 年就展示了 1.58-bit 模型的可行性，学术界也积累了大量的 PTQ 和 QAT 论文。但长期以来，1-bit 模型停留在能跑但不好用的阶段：缺乏主流推理框架的支持、没有标准化的部署工具链、性能损失难以量化。
Bonsai 27B 的突破在于，它同时解决了三个关键问题。
格式标准化。 GGUF Q1_0_g128 格式——每 128 个权重共享一个 FP16 缩放因子，每个权重仅 1 个符号位，0 映射为 −scale，1 映射为 +scale。这是 PrismML 定义的原生布局，理想大小和部署大小完全一致，不存在标称低比特、实际高精度逃生舱的问题。
运行时支持。 PrismML 修改了 llama.cpp，添加了针对 Q1_0_g128 的混合注意力 CUDA 内核。1-bit 权重可以直接在 GPU 上解码，无需展开回 FP16。更重要的是，1-bit 的 Q1_0 格式已经被上游 llama.cpp 主分支合并，用户不需要维护分支也能运行。
性能可预期。 PrismML 发布了完整的 15 项基准测试报告，让用户能精确评估不同场景下的性能损失。
哪里损失了，哪里没损失
PrismML 发布的基准测试明细揭示了 1-bit 量化的性格。
数学推理几乎无损。GSM8K、MATH-500、AIME25/26 平均从 95.33 降至 91.66（1-bit），仅损失 3.67 个点。MATH-500 从 99.40 微降至 98.00。
编程能力小幅下降。HumanEval+、MBPP+、LiveCodeBench 平均从 88.74 降至 81.88，损失 6.86 个点。
工具调用和 Agent 能力大幅下降。BFCL v3、TauBench 从 80.00 降至 66.00，损失 14 个点，降幅达 17.5%——是数学损失幅度的 4.6 倍。
指令遵循从 78.47 降至 65.74，损失 12.73 个点。视觉能力从 72.60 降至 59.60，损失 13 个点。
这个分布并不意外。数学和编程的推理路径相对确定，模型可以依赖大量规则性的记忆。而工具调用、指令遵循和多步推理需要更精细的权重表达——1-bit 的二元空间在这里暴露了天花板。
更值得关注的是 τ²-Bench 这类多步 Agent 基准：1-bit 版本从 82.90 骤降至 61.34，下降 21.56 个点。IFBench 从 68.03 降至 52.36，MMMU-Pro 从 79.94 降至 60.48。压缩损失精确地落在长时间运行 Agent 可能累积微小错误的场景中。
谁需要 1-bit 模型
1-bit 模型的适用场景并非替代云端大模型，而是填补云端无法覆盖的空白。隐私敏感场景——医疗数据、金融文档、企业内部知识库，数据不出设备是硬性要求。离线或弱网环境——工业巡检、车载、边远地区部署。延迟敏感业务——实时对话 Agent、语音交互，本地推理消除了网络延迟。成本敏感部署——3.9 GB 的模型文件意味着 CDN 分发成本极低。
但 1-bit 版本不适合需要复杂工具调用、多步 Agent 推理、高精度指令遵循的场景。PrismML 自己也明确推荐：三元版本（5.9 GB 理想值，当前 GGUF 部署约 7.2 GB，94.6% 性能保留）更适合 Agent 和编码工作流，1-bit 版本更适合聊天、文本生成等轻量任务。
铲子正在成型
Bonsai 27B 的发布和部署教程的意义，不仅在于模型本身，更在于它预示着 1-bit 推理生态正在快速成熟。推理框架方面，llama.cpp 主分支已合并 Q1_0，不需要分支即可运行。API 协议方面，llama-server 启动后提供 OpenAI 兼容端点，任何兼容 OpenAI SDK 的客户端都可以接入。推理加速方面，DSpark 投机解码提供 1.37x 加速，H100 上达到 143.8 tok/s，且无损验证。移动端方面，MLX 原生支持让 iPhone 17 Pro Max 上达到约 11 tok/s。社区方面，已有第三方开发者将 PrismML 分支同步到上游 llama.cpp，甚至出现了专门针对 AMD ROCm 的 1-bit 推理分支。
这套铲子组合——模型格式加推理框架加 API 协议加量化工具——正在把 1-bit 推理从极客玩具变成工程化选择。
本地智能的临界点
1-bit 模型的商业价值不在于替代 GPT-4，而在于它打开了一个此前被 GPU 成本和网络延迟锁死的市场——本地 AI 推理。当 270 亿参数的模型可以塞进 4 GB 内存，在手机、笔记本、边缘设备上以可用速度运行，AI 应用的产品形态会发生根本性变化。不再需要先上传再推理的云端架构，不再需要为每次推理支付 API 费用，不再需要担心数据传输的隐私合规。
PrismML 的 Bonsai 27B 和配套的部署教程，本质上是在说一句话：本地智能的时代，已经不是一个能不能的问题，而是一个怎么用的问题。
哪家应用公司先跑通这条流水线，谁就能在下一波本地 AI 应用中占据先机。
快报