English·中文

语言模型是具身智能的必由之路吗?

Wentao Zhu
2026 年 11 月 3 日

语言模型是通往通用具身智能的必由之路吗?这是一条捷径,还是歧途?

这个问题可以分为两个层面:科学上,智能如何产生(intelligence);工程上,我们如何构建具有这些能力的系统(artificial)。

科学层面上,我相信智能在与环境的感知—行动循环中产生:智能体通过感知和行动,根据反馈调整行为、积累经验。这已经是对智能足够本质的表述。这一过程并不依赖语言。例如,自然界中的许多动物不具备语言能力,依然是出色的具身智能体。

然而不可忽视的是,在当前的 AI 实践中,若要获得具备一定通用性的智能水平,通常需要先有一个经过大规模预训练的基础模型。互联网数据(以语言为主要载体)的智能密度和体量足够大,而 next-token prediction 等自监督方法,提供了简单且 scalable 的学习途径。因此,在互联网数据上进行预训练,是当前在工程上实现一定通用性的一条高效路径。

预训练提供知识和常识,模型则通过交互进一步发展推理和决策能力。二者结合,构成了当前 AI 发展的一种重要范式。GPT-6 Astra 的表现也提供了一个观察这一范式的例子 [1]。从目前有限的公开信息来看,编程和计算机操作中的强化学习后训练,可能是其能力的重要来源 [2]。这套范式的下一步也日渐清晰:随着更多真实世界的交互数据被纳入训练,它将进一步走向物理世界。

然而,这种基于语言的预训练—后训练范式,仅仅是一种工程选择吗?为什么自然界中的具身智能体不需要语言预训练?

本质上,每次交互都有成本(时间和能量),单个智能体能亲历的经验因而在数量和多样性上都有限。如果只能从自身经验中学习,每个个体就要重复其他个体已经完成的探索。因此,要在有限的交互预算下发展出足够的通用性,跨个体的积累与复用就尤为重要 [3]。在这个意义上,至少有以下两种重要的方式:

  1. 进化使有利于适应环境的特征跨代积累,让后代无需从零学习就具备某些能力,或更容易学会某些行为 [4]。

  2. 文化使个体习得的知识和技能,通过示范、语言、文字等方式传给其他个体,使它们能够在已有成果上继续学习 [5]。

从这个意义上说,自然界的生物智能背后,是无数个体与环境交互的成果通过进化代代积累。人类还发展出语言、文字,以至互联网,进一步提高了经验传递和保存的效率 [6]。

不同个体与环境交互,经验跨个体积累,并支持新的具身交互与适应。
智能在个体与环境的交互中形成,并在跨个体的积累中发展

那么,语言模型是具身智能的必由之路吗?

语言未必是具身智能的必要计算形式,但它能让智能体利用远超自身所能经历的体验。在这个意义上,语言预训练或许并不只是一种工程选择。

而当大量资源持续投入这条路线,它很可能率先走通,留给其他路径的探索空间与时间窗口随之收窄。即使语言模型不是理论上的必由之路,它也可能成为实践中无法回避的选择。

在语言预训练得到的智能 base 上,我依然相信,还需要在线的、具身的环境交互(不管是在虚拟仿真的沙盒中,还是在现实世界),才能达到真正的通用具身智能。在此过程中,现实世界的交互成本限制了个体积累经验的效率,也使跨个体的智能积累显得尤为重要。

在这条路径上,有着越来越多的问题:

通用具身智能或将(很快)实现。在我看来,回答这些问题将是我们这一代研究者的挑战、机遇和责任。


北京雁栖湖秋色。
北京雁栖湖秋色

后记:这个周末,在北京雁栖湖的秋色与湖光塔影间,很高兴参加了为期三天的 Mini3DV 研讨。会上讨论最热烈的话题之一,是大语言模型与具身智能的发展路线,包括“原生派”和“继承派”的讨论。这篇短文是对自己一些思考的梳理,也得益于许多老师的启发,在此一并致谢。文中观点仅代表作者本人。

References

  1. OpenAI. (2026). GPT-6 Astra: A new generation of intelligence. ↩
  2. Zhu, W. (2026). GPT-6 Astra: 3D, Embodied AI, and Beyond. ↩
  3. Cook, J., Lu, C., Hughes, E., Leibo, J. Z., & Foerster, J. (2024). Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning. Advances in Neural Information Processing Systems, 37. ↩
  4. Zador, A. M. (2019). A critique of pure learning and what artificial neural networks can learn from animal brains. Nature Communications, 10, 3770. ↩
  5. Boyd, R., Richerson, P. J., & Henrich, J. (2011). The cultural niche: Why social learning is essential for human adaptation. PNAS, 108 (Supplement 2), 10918–10925. ↩
  6. Tomasello, M. (1999). The Cultural Origins of Human Cognition. Harvard University Press. ↩
  7. Novikov, A., et al. (2025). AlphaEvolve: A coding agent for scientific and algorithmic discovery. Google DeepMind technical report, arXiv:2506.13131. ↩