想象一个场景:你给一个视觉语言模型输入一张飞机翼肋的2D工程图,它秒回了一段代码。你把代码扔进CAD软件,3D模型出来了。但经不起一次虚拟风洞测试。因为某个关键圆角半径算错了零点几毫米,整段代码执行失败。
这不是AI太笨,而是它太“老实”了。
过去几年,工程师们开始用视觉语言模型(VLM)生成新设计,飞机零件、汽车底盘、机械臂。但这里有一个“认知鸿沟”:AI产出的设计图没问题,可一旦需要把这些设计转成可执行的CAD程序,放进真实的工程软件里做碰撞测试、耐久性分析,模型就频繁翻车。原因很简单:能用来训练模型做这件事的好数据,太少了。
MIT和Red Hat、IBM的研究团队刚刚在ICML 2026上发布了一项名为GIFT(Geometric Inference Feedback Tuning)的新框架,直接捅破了这层窗户纸。他们的方法不依赖任何人工标注的新数据,而是让模型自己跟自己“复盘”,把推理过程中的错误转变成训练材料,让模型越做越好。
AI能画图,但做不出“能用的”零件
汽车工业里,一个刹车卡钳的CAD模型可能包含几十个参数化特征:孔位、倒角、螺纹、加强筋。每一个特征的位置、尺寸、公差都必须精确到小数点后两位。
现在的VLMs,比如GPT-4V、Qwen-VL,在“看图说话”这件事上很强。你给一张图,它能识别出这是刹车卡钳,甚至能描述出它的基本结构。但让它输出一段能在CAD软件里直接执行的Python代码,基于CadQuery或OpenCASCADE,一步到位生成一个可编辑的参数化3D模型,就是另一回事了。
Giannone和研究团队在论文中指出,当前VLMs在CAD生成任务上的核心瓶颈并非模型能力不足,而是“缺乏多样化的、高质量的训练数据来对齐视觉几何与程序语法”。翻译成大白话:模型看过的CAD图纸和对应的代码样本太少了,而且现有的样本大多是简单几何体,立方体、圆柱、球。你让它做飞机翼肋、汽车底盘支架这种复杂零件,它就开始“猜”了。
猜的结果是什么?论文数据显示,在GenCAD测试集上,即使经过有监督微调(SFT)的基线模型,在复杂几何任务上的平均IoU只有0.695。IoU是交并比,衡量生成形状与目标形状的重合度。0.695意味着生成的3D模型和真实零件之间,有超过30%的形状是不对的。
工业界无法容忍30%的误差。
从“刷题”到“错题本”,AI学习方式的根本转变
传统的数据增强思路是什么?随机旋转、缩放、变色。比如一张猫的图片,你把它的颜色从橙色变成灰色,AI就“学到”了更多样本。这种方法在图像识别领域有效,但在CAD生成领域几乎无效。因为CAD代码的“正确性”不是视觉上的,而是几何上的:代码必须精确到每一个参数,执行后必须生成一个拓扑正确的3D实体。
GIFT的思路完全不同。它不靠随机扰动,而是靠“模型感知”(model-aware)的数据增强。
具体来说,GIFT让同一个模型针对同一个问题生成多次代码,比如10次,然后检查每一次的结果。如果10次全部正确,说明这个问题太简单,不需要额外训练。如果10次全部错误,说明模型完全不懂,教也没用。GIFT真正关注的是“中间地带”,那些模型在50%的情况下能答对的问题。
“对于模型来说,生成接近正确的CAD查询代码并不难,但生成完全正确、可执行的代码,对标准VLM来说要困难得多。”Giannone在论文中这样解释。
GIFT把这些“接近正确”的失败案例,业内称为near-misses,捡起来,自动修正后,连同正确的解一起打包进新的训练数据集。这些数据天然就是“模型需要”的学习材料,因为它们精准命中了模型的知识盲区。
两个机制,解决80%的算力浪费
GIFT由两个核心机制组成。
第一个是Soft-Rejection Sampling(GIFT-REJECT)。传统方法只保留“完全正确”的答案,舍弃所有其他结果。GIFT-REJECT则放宽了标准:只要生成结果的IoU达到0.9以上,就算“优质解”,全部保留。这相当于在考试中,把考了90分以上的卷子都收进“优秀答案库”,而不是只收满分卷。
第二个是Failure-Driven Augmentation(GIFT-FAIL)。这是更激进的部分。对于IoU在0.5到0.9之间的“接近正确”结果,GIFT-FAIL自动修正其中的几何错误,把它们变成新的训练样本。这相当于让AI自己批改自己的作业,把做错的题重新做一遍,然后收进错题本。
结果令人印象深刻。在GenCAD测试集上,GIFT将平均IoU从0.695提升到0.781,提升了12%。更重要的是,GIFT解决了53.8%更多的问题。相比SFT基线,模型能解决的CAD生成任务数量增加了超过一半。同时推理计算量减少了80%。这意味着企业可以用更少的算力,获得更好的结果。
“通过将推理时的搜索成本摊销到模型参数中,GIFT在享受推理时扩展优势的同时,将推理计算量削减了80%。”论文中写道。
为什么这件事现在才被解决?
CAD生成领域有一个结构性问题:高质量的训练数据极其稀缺。
CAD模型的创建本身就有门槛。能熟练使用SolidWorks、Catia、Fusion 360等工业软件的是工程师,不是数据标注员。让工程师为AI标注数据,成本极高。
工业设计数据大多是企业机密。波音不会把787的翼肋CAD数据公开,特斯拉不会把Cybertruck的底盘设计共享。能公开的CAD数据集,主要是学术界和开源社区贡献的简易几何体。
传统的数据增强方法在CAD领域也失效了。你不能像处理图片一样,把CAD代码“旋转”一下。旋转后的代码可能语法就错了,也可能生成一个拓扑无效的实体。
GIFT巧妙绕过了这个“数据死锁”:它不需要人工收集新数据,不需要企业的私有设计库,也不需要昂贵的人工标注。它只需要模型自己跟自己玩,反复推理、检查、纠错、再训练。循环往复,模型自己就变成了更好的自己。
工程软件市场的“AI时刻”
这不仅是学术论文里的数字游戏。GIFT背后的技术方向,指向的是一个巨大的工程软件市场。
根据Fortune Business Insights的数据,2025年全球工程软件市场规模为530.7亿美元,其中CAD软件是核心支柱。2026年CAD软件市场规模预计达到252.8亿美元,到2035年将增长到443.8亿美元。3D CAD软件占据近72%的份额。
但更深层的信号是:整个工业软件行业正在经历AI化的临界点。Autodesk、Dassault Systèmes、PTC等传统CAD巨头都在加速引入AI功能。MIT团队在论文中引用了一个趋势,“模态到程序”(Modality-to-Program)范式正在成为主流。这种范式把CAD模型转化为可编辑的Python代码,天然适配大语言模型,也天然适配GIFT这样的自训练框架。
“几乎所有我们身边的实体产品,从飞机到家電,最初都是从CAD模型开始的。行业团队渴望AI能加速这些设计的创建,但今天的模型往往只能生成过于简单的形状,无法用于实际工程。”论文共同通讯作者、MIT机械工程系副教授Faez Ahmed说。
真正的“自我进化”
GIFT不是第一个尝试让AI自我改进的框架。强化学习(RL)和自训练(self-training)都尝试过类似的方向。但GIFT的特殊之处在于,它把“几何反馈”作为核心信号。不依赖人类评价,不依赖GPT-4作为裁判,只依赖CAD软件本身的执行结果来判断对错,代码能否执行、生成的几何体是否与目标匹配。这是一个完全客观的反馈信号。
“我们想让工程师能够把我们的框架指向一个表现不佳的CAD模型,设定一个计算预算,然后让系统接手,把模型自己的错误变成更好的训练数据。”Giannone说。
有趣的是,GIFT这个名字本身就是一个隐喻,“礼物”。在AI领域,高质量的标注数据就是最昂贵的“礼物”。GIFT让模型自己给自己送礼。
谁赢,谁输?
最大受益者首先是中小型制造企业和初创硬件团队。他们没有大企业的CAD专家团队,也没有预算购买昂贵的CAD数据集,但GIFT这样的框架可以让他们用最少的算力,让AI自动生成可用的工程模型。快速原型制作的门槛正在被拉低。
第二受益者是CAD软件平台本身。如果GIFT方法被集成到Autodesk Fusion 360或Onshape等云端CAD平台中,用户只需上传一张2D草图,平台就能自动生成一个可编辑的3D CAD模型。这将是“从概念到原型”工作流的革命性简化。
那些靠“卖AI标注数据”为生的数据服务公司,可能会受到冲击。如果AI可以自己生成高质量的训练数据,市场对人工标注数据的需求将大幅下降。
GIFT论文提到,当前方法在极端复杂的设计上仍有局限。当CAD代码的token长度超过500时,所有模型的性能都显著下降。这是一个“复杂度的悬崖”:模型在简单几何体上表现优异,但到了真实工业零件的复杂度,仍需持续改进。另外,GIFT目前依赖的CadQuery执行环境,意味着它必须在可执行代码的框架内工作。对于更底层的B-Rep格式,或者需要专有API的CAD软件,迁移成本可能不低。
AI不再需要更聪明的老师。它只需要一面镜子,和面对错误的勇气。






快报