奥特曼预言与现实相差几何?12个顶级模型“创业”一年,仅3个存活

AGI
AI能帮你经营一家创业公司吗?

“在 AI 时代,一个人有可能创办一家估值 10 亿美元的独角兽公司。”2024 年初,OpenAI CEO 山姆·奥特曼(Sam Altman)抛出考虑了这个后来被广泛引用的判断。

数据似乎也正验证这一趋势。据股权管理平台Carta 统计的2025 年数据显示:超过三分之一的新公司由单人创始人创办。从 2019 年的 23.7% 到 2025 年上半年的 36.3% ,独立创始人创立公司的比例在六年间增长了 53% 。不仅不需要联合创始人了,甚至一个人、一套 AI 工具就能打天下的“一人公司”案例也开始出现在科技媒体的报道中。

AI越来越强,但一个人+AI,真的等于一家公司吗?AI能做到什么程度?

Collinear AI(专注企业级AI Agent的初创公司)的研究团队认为,整个行业正在快速迈向长周期、多步骤的Agent工作流,但可靠性并没有跟上这一进程。因此,他们发布了YC-Bench(首个带有模拟时钟的开源长时序 Agent 评测基准) 试图用科学的方式回答这个问题——不是靠感觉和案例,而是把“一个人能做的事”拆解成可量化的任务,然后用全球最强的 AI 模型逐一去测试。

研究团队构建了一个高拟真度的模拟创业环境,AI 在里面扮演 CEO,让 AI Agent 从零运营一家公司:管理员工、挑选项目合同、应付难缠的客户、维持公司账上的现金流。一年后,从起始资金 20 万美元,到最终能活下来且赚钱的,12 个顶级模型里,只有 3 个做到了。

论文来源:

YC-Bench: Benchmarking AI Agents for Long-Term Planning and Consistent Execution

https://arxiv.org/abs/2604.01212

YC-Bench 怎么测的?

前沿模型能经营一家创业公司吗?

带着这样的疑问,研究团队发布了 YC Bench。其核心设计思路是:给一个前沿模型种子资金、一支小团队和一个任务市场,让它模拟经营一家 AI 初创公司——管理员工、按时交付、分配资源,在一年内实现利润最大化。

核心挑战有三层:

  • 不确定性下的规划:市场是部分可观察的,AI 不能“偷看答案”,必须基于不完整信息做决策。
  • 延迟反馈:很多决策的后果要几周甚至几个月才显现,AI 必须从延迟的信号中学习和调整。
  • 错误累积:早期的一个糟糕决策会在后期放大,最终导致破产——这正是现实创业中最残忍的规律。

其中,研究团队增加了对抗性压力:环境里有意设置了难缠的客户、不断上涨的人力成本,让 AI 在压力下做出判断。

评估的方法,是12 个模型(含闭源和开源),每个模型跑 3 次(不同随机种子数据集),唯一允许在回合间“记事”的工具是 Scratchpad(草稿本)——相当于 AI 的内部笔记本,这是它跨回合保持记忆的唯一方式。

在这个评测中,Agent = LLM + 工具 + 决策框架,LLM 是大脑,框架是手脚。

每个被测模型都被套上了一层 Agent 框架,让它们能:

  • 查看公司当前状态(财务报表、员工情况)
  • 根据看到的信息做推理和决策
  • 调用工具执行动作(分配任务、招聘员工、推进时间)

这 12 个模型做的就是这个 Agent 循环,不是单纯地回答问题。YC-Bench 测的不是"哪个大模型答卷考得好",而是"哪个模型当老板当得好"。

12 个模型,同一场压力测试,结果:三个没想到

研究团队挑选了 12 个来自不同公司的主流 AI 模型,放在同一套环境里进行三轮独立测试。

模型在模拟环境里的行为差异极大,主要体现在四个维度。其中,Scratchpad 写入频率反映了 AI 在长程任务中进行主动规划和自我反思的强度;任务检查比例反映了 AI 是否主动核实客户可信度;并发任务数反映 AI 是否存在“过度并行”问题。

模型行为对比

在计算成本与稳定性上,API成本差异极为悬殊,而结果却并不与成本正相关。

图中可以看到不同模型之间运行时间差异巨大。同样跑完一年模拟,Claude Opus 4.6 用了70分钟,GPT-5.4 Nano只用了3分钟。深入拆解,有以下几个原因:

  • 首先,运行时间和Token量强相关,这意味着AI在每个决策回合“想了多久”。Claude Opus 4.6 产生了16.7M token,而GPT-5.4 Nano只有2.0M token。这背后源于两个行为:Scratchpad的写入量(记录各种情况)和每轮发出的命令数(与环境交互)。
  • 其次,不同模型本身推理速度和吞吐量差别也很大,比如Gemini Flash系列是专为速度优化,推理极快,其他GPT-5.4 Nano/Mini也是轻量级小模型,参数少、推理快,而Claude Opus 4.6是旗舰大模型,参数量大,每个Token计算量高,自然也就慢了。
  • 此外,还存在API网络延迟的叠加效应。YC-Bench中跑了几百个回合,每轮都要调用API,旗舰款模型的响应延迟高于轻量模型,再乘以几百轮,延迟就会被大幅放大。

综合来看,结论还是有不少让人意外之处。

1. 顶级模型的差距,比想象中大得多

在三轮测试中,12 个模型里,只有 3 个能持续跑赢 20 万美元起始资金。剩下 9 个,要么勉强持平,要么在一年内走向破产。

但更有意思的是始终存活下来的前三名对比:

Top 3 模型最终资金对比

Top 3 模型最终资金对比

其中,GLM-5 以极低成本接近 Claude Opus 的表现,可以说是 Claude Opus 的“性价比杀手”——差距极小,但算力消耗天差地别。这对那些想用 AI 运营公司的人来说,是个重要信号:最贵的模型不一定是最优的。

2. Scratchpad 是生死线

这是整个论文最反直觉的发现:决定输赢的并不完全是参数量,而是Scratchpad 的使用方式。

例如,在前文表格中,Gemini 3.1pro 作为旗舰款的Pro模型,按惯例来讲应该是同系列中参数最大的,但在三次测试中破产两次;反观其轻量版模型Gemini 3 Flash一次都没有破产,虽然最终资金不多,但至少活下来了。

而其他能持续、规律地使用 Scratchpad 做规划和自我反思的 AI(如 Opus 4.6、GLM-5、GPT-5.4),表现远优于那些"走一步看一步"的 AI。GPT-5.4 虽然 Scratchpad 使用频率极高(10.6次/100轮),但其高任务检查率使其也维持了稳定盈利。

这像极了人类创业者:那些随时记笔记、复盘决策、做长期打算的人,往往比那些凭直觉行动的人走得更远。AI 也不例外。

3. 第一道坎,来自最难缠的客户

47% 的破产都始于对抗性客户——AI 在没有充分核实背景的情况下接受了不利条款,或者没有识别出客户的恶意意图。其他主要失败原因包括:员工分配不当(26%)、过度并行化(17%)以及其他因素(10%)。

这个数字令人意外:人们通常认为 AI 在逻辑推理和数据分析上很强,但识别意图和风险,恰恰是它最薄弱的地方。

更讽刺的是,论文还发现前沿模型有一种独特的失败模式:过度并行化——Claude Sonnet 4.6 平均同时承接 7.2 个任务,远超其他模型,但这种"多线程"策略反而导致资源分散、每条线都做不深。

这不只是论文,更像是现实的压力测试

看完这些实验数据,你会发现 YC-Bench 测的,其实就是"一个人 + AI 工具"能否真正成为一家公司的核心能力。

换句话说,YC-Bench 用代码模拟的,正是每一个想靠 AI 创业的"超级个体"每天都在面对的真实挑战。

山姆·奥特曼说,一个人可以创办一家独角兽。

YC-Bench 的研究说明,前提是这个人得比 AI 更懂什么时候不该听 AI 的。这不是对 AI 的否定,恰恰是对 AI 时代“一人公司”最诚实的定义:一个人 + AI,不是降低了对创业者的要求,而是把要求从“你会多少技能”变成了“你有多擅长做判断”。

YC-Bench 的价值,不在于告诉我们 AI 能做什么,而在于诚实地揭示了 AI 现在还不能做什么——以及在那些缝隙里,一个人必须自己补上的那些能力。

最后,综合这份论文中的判断,或许可以给在做“一人公司”的人提供几个提示:

  • 不要被 AI 的“智商”骗了——模型在各项评测榜单上分数很高,但在长程任务里,坚持用笔记、持续复盘、主动识别风险的做事习惯,比纯粹的推理能力更重要。目前没有哪个模型在这一点上做到完美,包括测试中的大赢家Claude Opus。
  • “最贵的”不等于“最合适的”——GLM-5 的出现说明,模型选择上存在被严重低估的性价比路线。一人公司本就在资源有限的前提下运营,没必要为最贵的模型付溢价。
  • 早期的一个失误,真的会杀死你——这是YC-Bench最残酷的发现:AI 在前几个月的决策质量,直接决定了后期的发展空间。一个人创业也是如此——最初的合同、人员、方向选择,会在12个月后被放大成巨大的优势或劣势。
  • AI 的盲点,在人际判断上——47%的破产源于客户识别失误,这不是技术问题,而是 AI 缺乏“社会经验”的系统性弱点。在现实中,这意味着一个人用 AI 跑公司,必须自己在关键决策上保持判断力,而不是完全依赖 AI 的建议。

(文|数智达观,作者|盖虹达,编辑丨杨林)

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

18:33

市场监管总局召开外卖平台企业行政指导会

18:31

雅本化学:拟定增募资不超过10.05亿元,用于年产700吨高端农药中间体项目等

18:24

霍尔木兹海峡航运受阻全球航运成本急剧飙升,业内人士:目前运费已涨了11倍到12倍

18:23

天猫养车公布2026年“六新”战略方向

18:22

*ST天山:3月活畜销售收入同比增长8386.98%

18:18

中山公用:控股股东拟8.99亿元转让5%股份给利安人寿

18:18

南京港:5000万元理财产品到期赎回,再购同金额产品

18:17

北元集团:持股5%以上股东减持1%股份,减持计划未实施完毕

18:17

广电网络:收到陕西证监局行政监管措施决定书

18:16

ST东时:“东时转债”4月8日到期,无法兑付本息

18:14

渤海租赁:首次回购0.15%公司股份,成交总金额为4002.58万元

18:10

联想发布擎天AI 5.0核心技术底座AI Foundry

18:09

马兴瑞涉嫌严重违纪违法正接受审查调查

18:08

电科数字:因涉嫌信息披露违法违规,被证监会立案

18:08

万科拟于4月17日召开债券23万科MTN001持有人会议,审议展期相关事项

18:03

央行:4月7日将开展8000亿元买断式逆回购操作,期限为3个月

18:01

交通运输部:预计清明假期高速路车流量同比增长,峰值在首日

18:00

西子洁能:中标约6345万元燃气轮机配套项目

17:51

京东团购上线,百万餐饮门店开启试运营

17:44

潍柴动力:2025年数据中心用发动机销售约1400台,同比上涨259%

扫描下载App