37年前,哲学家Jerry Fodor和心理学家Zenon Pylyshyn给AI画下了一道看似不可逾越的鸿沟。他们在1988年发表的〈Connectionism and Cognitive Architecture〉中提出了一个当时无人能反驳的论断:神经网络这种由连续权重构成的并行分布式系统,从本质上就无法处理语言和逻辑所需要的符号组合结构。人类认知具有“系统性”和“生产力”——你能理解“猫追狗”,就能理解“狗追猫”——这种能力必须以符号操作为基础,而神经网络做不到。
这是当年连接主义与符号主义论战中最致命的一击。连接主义的回应者中,有一位叫Paul Smolensky的认知科学家。他提出了“子符号”层次的折衷方案来防守,但没能真正推倒Fodor和Pylyshyn的论证。那场论战没有赢家。此后数十年,两个阵营各走各路。
37年后,Smolensky带着一份新答卷回来了。
2026年8月30日,一篇论文悄然出现在arXiv上,标题平静但内容近乎挑衅:〈The Emergent Symbolic Structure of Artificial Neural Networks〉。四位作者——R. Thomas McCoy、Paul Soulos、Tal Linzen和Paul Smolensky——联合发表了一个足以动摇AI底层认知框架的发现:神经网络在连续向量的表面之下,自发涌现出符号结构。这种符号结构可以被数学方程精确提取,提取之后还可以反过来精准操控模型的行为。
37年的裂缝
要理解这篇论文的分量,得回到1988年那个关键分歧点。
Fodor和Pylyshyn的论点可以概括为一个三段论:人类的认知架构是符号化的;符号化架构和连接主义不兼容;因此认知架构不可能是连接主义的。这篇文章发表在〈Cognition〉第28卷第1-2期,占据了从第3页到第71页的全部篇幅,是一场精心构筑的“不可能性证明”。
Smolensky在同一年于〈Behavioral and Brain Sciences〉发表了回应〈On the Proper Treatment of Connectionism〉,提出连接主义操作于一个介于神经层次和符号层次之间的“子符号”层次。但这个方案未能从根本上回应Fodor和Pylyshyn的核心挑战:连续数值的神经网络,如何表征离散的符号组合。
此后,符号系统主导了专家系统和早期的自然语言处理。神经网络经历了两轮AI寒冬和一轮复苏。直到2017年Transformer架构出现——本质上仍是一个连续向量系统——神经网络开始在语言、逻辑、数学和代码等符号领域全面碾压传统符号系统。这让当初的问题变得更加尖锐:如果向量真的不适合符号处理,那Transformer是怎么做到的。
DISCOVER:把神经网络翻译成代数
McCoy团队给出的答案,源自Smolensky本人在1990年提出的一套形式化框架——张量积表示。
TPR的核心思想出奇地简洁。一个符号结构(比如句子“猫追狗”)可以分解为两个要素:填充物和角色。填充物是具体的内容元素,猫、追、狗;角色是它们的功能位置,主语、谓语、宾语。每一个“填充物-角色”对可以表示为两个向量的张量积(外积),所有张量积的总和就是整个符号结构的向量表示。
这个框架在1990年提出时是一个设计提案:如果你想用神经网络来表示符号结构,可以按照TPR的方法来设计网络。McCoy团队做了一个大胆的转向:他们不再问“怎么设计”,而是问“已经训练好的网络,自己学会了什么”。
他们的方法DISCOVER做的是逆向工程。给定一个神经网络的内部激活向量,DISCOVER尝试找到一组最优的角色和填充物分解,使得重建的TPR向量能最大程度逼近原始的激活向量。如果逼近成功,就说明这个神经网络的内部表征实际上编码了一个隐式的符号结构。
结果令人意外。在合成序列操作任务中,DISCOVER在三类神经网络——多层感知机、循环神经网络和Transformer——中都找到了高精度的TPR近似。在某些情况下,直接用TPR方程替换整个网络的表示生成过程,模型的行为保持了超过99%的一致性。
这意味着,网络并非偶然地接近某种符号结构,而是系统地、可重复地在向量中编码了符号信息。这套隐式符号系统不像Pāṇini的语法或亚里士多德的逻辑那样写在纸面上,而是张量在高维空间的坐标系里。但在数学上,它们等价。
七个模型、四个领域
合成任务上的成功只是第一步。真正考验在于,这个发现能否扩展到真实规模的大语言模型上。
McCoy团队测试了7个LLM:Gemma-3-27b、GPT-2-XL、GPT-OSS-20b、Pythia-12b、Qwen3-14b、OLMo-2-13B和Llama-3-70b,参数规模从1.5亿跨越到700亿。测试覆盖了符号主义传统中最核心的四个阵地:算术、逻辑、计算机代码和自然语言。
结果跨模型、跨领域一致:DISCOVER在所有模型和所有领域中都找到了有效的TPR近似。不同模型的近似精度有差异——更大的模型往往表现出更清晰的符号结构——但方向是统一的。
最令人信服的证据来自因果验证。研究者利用TPR方程对LLM的内部表征实施了精确干预,修改了某个“角色”对应的向量分量,然后观察模型行为的变化。如果TPR只是统计上的巧合拟合,这种干预不应该产生一致的影响。但实验结果是:干预能够以可预测的方式改变模型的输出行为。这意味着TPR结构不仅是描述性的“好近似”,更是LLM实际推理时的因果依赖——模型的输出行为依赖于这些符号结构。
这一发现对机制可解释性领域意义重大。2026年1月,MIT Technology Review将机制可解释性列为年度十大突破技术之一。但该领域此前面临一个根本困难:我们不知道应该在哪个抽象层次上去读懂神经网络。McCoy团队的工作提供了一个候选答案——TPR层次。如果LLM的内部表征确实可以用TPR来精确建模,那“读懂LLM在想什么”就从神经科学的隐喻变成了可计算的代数。
论战的真正终点
这篇论文最深刻之处,并非它证明了符号主义是对的或连接主义是对的——而是它证明了这场持续近四十年的对立,可能从一开始就建立在错误的前提上。
Fodor和Pylyshyn在1988年的核心论点——神经网络无法实现符号组合结构——被经验数据否定了。但这并不意味着符号主义错了。恰恰相反,神经网络以另一种方式实现了符号系统。连续向量和符号结构不是互斥的对立面,前者是后者的隐藏载体。
从这个视角回看,Smolensky在1988年提出的“子符号”假说找到了具体的数学实现:TPR所提供的,正是从子符号到符号的精确映射。在子符号层次上操作的是连续数值,但这个层次涌现出的结构却是离散的、组合的、符号化的。
论文的精确干预部分打开了一扇更具实用价值的门。如果能够识别模型的内部符号结构并进行靶向干预,就相当于拥有了编辑模型行为的手术刀。不需要重新训练,不需要RLHF的大规模迭代:直接修改内部表征中特定角色的向量分量,就可以改变输出。这意味着在幻觉纠正、知识更新、偏见消除等方向上有了一条全新的路径。
当然,这项工作也有边界。DISCOVER的近似质量依赖于事先设定的角色方案,不同的方案会导致不同的结果。在更复杂的开放推理任务中,TPR框架是否仍然足够?角色和填充物的区分是否在所有场景中都自然成立?这些问题留给了后续研究。
但有一件事已经清晰:这篇论文给出了自深度学习兴起以来,对连接主义和符号主义之争最有力的一份回答。
它不是终点。它是37年前一道裂缝里长出来的树。现在树冠够大了,大到足以重新定义问题的边界。






快报