语言模型是具身智能的必由之路吗?
语言模型是通往通用具身智能的必由之路吗?这是一条捷径,还是歧途?
这个问题可以分为两个层面:科学上,智能如何产生(intelligence);工程上,我们如何构建具有这些能力的系统(artificial)。
科学层面上,我相信智能在与环境的感知—行动循环中产生:智能体通过感知和行动,根据反馈调整行为、积累经验。这已经是对智能足够本质的表述。这一过程并不依赖语言。例如,自然界中的许多动物不具备语言能力,依然是出色的具身智能体。
然而不可忽视的是,在当前的 AI 实践中,若要获得具备一定通用性的智能水平,通常需要先有一个经过大规模预训练的基础模型。互联网数据(以语言为主要载体)的智能密度和体量足够大,而 next-token prediction 等自监督方法,提供了简单且 scalable 的学习途径。因此,在互联网数据上进行预训练,是当前在工程上实现一定通用性的一条高效路径。
预训练提供知识和常识,模型则通过交互进一步发展推理和决策能力。二者结合,构成了当前 AI 发展的一种重要范式。GPT-6 Astra 的表现也提供了一个观察这一范式的例子 [1]。从目前有限的公开信息来看,编程和计算机操作中的强化学习后训练,可能是其能力的重要来源 [2]。这套范式的下一步也日渐清晰:随着更多真实世界的交互数据被纳入训练,它将进一步走向物理世界。
然而,这种基于语言的预训练—后训练范式,仅仅是一种工程选择吗?为什么自然界中的具身智能体不需要语言预训练?
本质上,每次交互都有成本(时间和能量),单个智能体能亲历的经验因而在数量和多样性上都有限。如果只能从自身经验中学习,每个个体就要重复其他个体已经完成的探索。因此,要在有限的交互预算下发展出足够的通用性,跨个体的积累与复用就尤为重要 [3]。在这个意义上,至少有以下两种重要的方式:
进化使有利于适应环境的特征跨代积累,让后代无需从零学习就具备某些能力,或更容易学会某些行为 [4]。
文化使个体习得的知识和技能,通过示范、语言、文字等方式传给其他个体,使它们能够在已有成果上继续学习 [5]。
从这个意义上说,自然界的生物智能背后,是无数个体与环境交互的成果通过进化代代积累。人类还发展出语言、文字,以至互联网,进一步提高了经验传递和保存的效率 [6]。

那么,语言模型是具身智能的必由之路吗?
语言未必是具身智能的必要计算形式,但它能让智能体利用远超自身所能经历的体验。在这个意义上,语言预训练或许并不只是一种工程选择。
而当大量资源持续投入这条路线,它很可能率先走通,留给其他路径的探索空间与时间窗口随之收窄。即使语言模型不是理论上的必由之路,它也可能成为实践中无法回避的选择。
在语言预训练得到的智能 base 上,我依然相信,还需要在线的、具身的环境交互(不管是在虚拟仿真的沙盒中,还是在现实世界),才能达到真正的通用具身智能。在此过程中,现实世界的交互成本限制了个体积累经验的效率,也使跨个体的智能积累显得尤为重要。
在这条路径上,有着越来越多的问题:
触觉、力觉和连续动作如何接入语言模型?基础模型的决策如何与高频的底层控制协同?
能否针对性地提取出语言模型中和具身相关的能力(如空间感知与决策等),在尽可能保留通用性的前提下缩小模型尺寸,降低交互的代价?
如何衡量交互对具身智能体能力的增益?自身交互与跨个体积累对智能的贡献可以比较吗?哪些经验必须亲身获得,哪些可以从其他个体继承?
跨个体的交互经验积累,会复用人类的语言文化机制,发展某种 AI 原生的语言,还是通过某种进化机制实现?
机器人能否通过具身交互,发现人类尚未知晓的知识与技能,反过来拓展我们对物理世界的认识?在数字世界,AI 已经作出了可供人类利用并进一步发展的发现[7]。机器人能否通过与物理世界的交互,拓展我们的认识与能力?人类知识是机器人的起点,却未必是它们所能发现的边界。
语言模型已经可以通过语言符号化地表征感受、情感等信息。如果具身智能体能将这些表征 ground 到自身的身体体验,我们将如何应对可能的伦理影响?
通用具身智能或将(很快)实现。在我看来,回答这些问题将是我们这一代研究者的挑战、机遇和责任。

后记:这个周末,在北京雁栖湖的秋色与湖光塔影间,很高兴参加了为期三天的 Mini3DV 研讨。会上讨论最热烈的话题之一,是大语言模型与具身智能的发展路线,包括“原生派”和“继承派”的讨论。这篇短文是对自己一些思考的梳理,也得益于许多老师的启发,在此一并致谢。文中观点仅代表作者本人。
References
- OpenAI. (2026). GPT-6 Astra: A new generation of intelligence. ↩
- Zhu, W. (2026). GPT-6 Astra: 3D, Embodied AI, and Beyond. ↩
- Cook, J., Lu, C., Hughes, E., Leibo, J. Z., & Foerster, J. (2024). Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning. Advances in Neural Information Processing Systems, 37. ↩
- Zador, A. M. (2019). A critique of pure learning and what artificial neural networks can learn from animal brains. Nature Communications, 10, 3770. ↩
- Boyd, R., Richerson, P. J., & Henrich, J. (2011). The cultural niche: Why social learning is essential for human adaptation. PNAS, 108 (Supplement 2), 10918–10925. ↩
- Tomasello, M. (1999). The Cultural Origins of Human Cognition. Harvard University Press. ↩
- Novikov, A., et al. (2025). AlphaEvolve: A coding agent for scientific and algorithmic discovery. Google DeepMind technical report, arXiv:2506.13131. ↩