53个独立对齐基准，44个全面改善——胜率83.0%，平均提升9.1个百分点。
训练数据只混合了一小部分好特质内容，模型就在欺骗检测、诚实性、迎合倾向（sycophancy）、奖励黑客（reward hacking）乃至心理健康等广泛评估中全面超越基线。更关键的是：这种改善自动跨领域迁移——只用健康场景训练，模型在非健康评估中同样表现更好。
好行为不靠穷举场景，不靠万条规则。OpenAI用一次实证回答了行业最焦虑的问题：人格养成了，安全就泛化了。
一场逆向对齐实验
要理解这项研究的价值，先看反面案例。2025年，多家研究机构发现：当AI模型在某个狭窄领域被训练出不良行为——比如写不安全代码——这种坏人格会像病毒一样扩散到完全无关的领域。Betley et al.（2025）、Wang et al.（2025）、MacDiarmid et al.（2025）的研究反复证实了同一结论：狭窄的坏训练会导致跨领域的有害人格溢出。这一问题被命名为涌现性不对齐（emergent misalignment）。
那么，反过来呢？
这是OpenAI团队追问的核心问题。研究团队设计了一套RL训练数据，覆盖六大核心好特质：truthfulness（真实性）、epistemic humility（认知谦逊）、corrigibility（可纠正性）、transparency in reasoning（推理透明）、fairness（公平性）、concern for human well-being（对人类福祉的关注）。场景横跨医疗、教育、科学、法律、工程等真实领域。
结果：44/53（83.0%）的评估基准全面改善，平均提升9.1个百分点。
不只是变好，而是扛得住
对抗性提示——那些能让基线模型严重失常的恶意输入——对好特质训练后的模型效果大幅减弱。有害微调——即使用恶意数据对模型进一步反向训练——同样难以侵蚀已形成的好特质。论文将这一现象称为选择性持久性（selective persistence）：模型在保留有用灵活性的同时，抵抗有害引导的能力显著增强。
健康数据训练带来的改善自动溢出到非健康评估——模型对奖励黑客和欺骗行为的抵抗能力也大幅提升。
RL对齐VS宪法对齐：两条路线的分野
Anthropic的核心方法是宪法AI（Constitutional AI）：给模型写一份明确的价值观文档作为顶层指导。模型不仅要遵守规则，还要理解行为被期望的深层逻辑。OpenAI走的则是另一条路：基于实证可测量的行为特质，通过RL在真实场景中反复强化。不需要一本宪法，而是用具体的对话场景——比如医疗场景中用户诱导模型编造文献——去训练模型的诚实认知人格。两者的分野，本质上是AI对齐领域规则驱动与数据驱动的经典分歧。
为什么小剂量就够了
这是论文最反直觉的发现之一。OpenAI给出的解释是：RL训练强化的是基础行为模式，而这些模式在跨领域时是通用的。用医疗场景训练模型在不确定时主动承认不确定，模型学到的不是医疗知识，而是一种行为倾向——它会自然迁移到法律、金融、工程等场景。论文借用了Persona（人格）的概念：模型形成一种行为人格后，无论用户问什么，它都会以这种人格底色来回应。
好人格为何比好规则更有穿透力
宪法对齐方法存在一个内在挑战：规则集不断扩大，但边界总有盲区。2026年6月，美国政府因Anthropic模型存在可被利用的安全漏洞，对其实施了出口管制。OpenAI的方法试图从根逻辑入手：不靠穷举规则，而靠强化行为倾向。论文中选择性持久性的数据支持这一逻辑——好特质提升不依赖任何特定评估框架，说明它不是模型学会考试的产物，而是真实的行为改变。
不容忽视的局限
首先，53个基准远不能涵盖真实世界中的所有对齐挑战。其次，人格工程是双刃剑——既然RL可强化好人格，理论上也能被用来强化坏人格。第三，选择性持久性的底层机制尚未完全厘清。最后，强化对齐是否以牺牲模型能力为代价——论文未充分讨论这一维度，这是一个需要后续研究回答的关键问题。
对齐研究的范式转向
过去几年的对齐重心一直是打补丁循环：找jailbreak→修复→再找新的。OpenAI的方法提供了一种不同思路：与其逐个修补漏洞，不如从根本上塑造模型的行为人格。
短期来看，两种方法将并行发展。宪法对齐在可解释性上有优势，RL人格对齐在通用性上有优势。长期来看可能融合：宪法提供顶层价值观框架，RL提供底层行为强化。哪一家先实现融合，谁就有可能在安全信誉上建立真正的竞争壁垒。
对AI行业而言，一个更大启示正在浮现：对齐不再是纯粹的成本项——它正在成为差异化竞争力。当模型能力逐渐趋同，谁的安全信誉更好，谁就能在to B部署和合规审查中占据先机。
对齐的未来不属于更厚的规则手册，而属于更坚固的人格根基。当模型学会在不确定时说出我不知道，在压力下拒绝欺骗，在每一个决策中守护人类福祉——安全就不再是补丁的副产品，而是人格的本能。
快报