AI距离人类级别智能有多近?
作者：微信文章像OpenAI的o1这样的大型语言模型（LLM）引发了关于实现人工通用智能（AGI）的辩论。2024年12月3日自然杂志Nature刊文发表了一篇题目为《How close is AI to human-level intelligence?》的文章提出这些模型可能无法单独达到这一里程碑。
OpenAI最近发布的人工智能（AI）系统在9月发布时做出了大胆的承诺。这个位于美国旧金山的公司展示了o1——其最新的LLM套件，声称它在工作方式上更接近人类思维，而非以前的LLM。
这一发布再次引燃了一个已经持续数十年的辩论：机器何时能够完成大脑能处理的所有认知任务，包括从一个任务到另一个任务的泛化、抽象推理、规划以及选择要调查和学习的世界方面？
这种“人工通用智能”（AGI）可以解决复杂问题，包括气候变化、流行病以及癌症、阿尔茨海默病等疾病的治疗。但如此强大的力量也带来了不确定性，并且对人类构成风险。蒙特利尔大学的深度学习研究员Yoshua Bengio表示：“坏事可能发生，无论是由于AI被滥用，还是我们失去对它的控制。”
近年来LLM的革命激发了人们的猜测，认为AGI或许触手可及，甚至已经在某些方面取得了进展。然而，正如一些研究人员所言，鉴于LLM的构建和训练方式，它们本身不可能独立实现AGI。“仍然缺少一些关键部分，”Bengio表示。
显然，现在关于AGI的问题变得更加相关了。“大部分时间，我认为那些讨论AGI的人是怪人，”亚利桑那州立大学计算机科学家Subbarao Kambhampati表示。“如今，当然，大家都在谈论它。你不能再说每个人都是怪人了。”
AGI辩论为何发生变化
“人工通用智能”这一术语大约在2007年进入公众视野，当时它在AI研究人员Ben Goertzel和Cassio Pennachin编辑的同名书中首次出现。尽管其确切含义仍不清晰，但广义上它指的是具有类人推理和泛化能力的AI系统。尽管定义模糊，但在大部分AI历史中，仍然很清楚我们尚未实现AGI。以Google DeepMind创建的AlphaGo为例，这个AI程序能在围棋比赛中击败世界顶尖的真人选手，但它的超人表现仅限于围棋这一狭窄任务。
LLM的新能力彻底改变了这一局面。像人类大脑一样，LLM展示了广泛的能力，令人惊讶的是，这些能力促使一些研究人员认真考虑AGI的可能性，认为它可能即将到来，甚至已经出现。
这一广泛能力的令人震惊之处在于，研究人员对LLM如何实现这些能力的理解仍然有限。LLM是基于神经网络的机器学习模型，这种网络结构在某种程度上受到大脑的启发，包含了多个人工神经元（或计算单元），这些神经元按层次排列，且通过可调参数表示神经元之间连接的强度。在训练过程中，最强大的LLM——例如o1、Claude（由位于旧金山的Anthropic公司开发）和Google的Gemini——依赖于一种叫做“下一个标记预测”的方法，其中模型不断被喂入经过分割的文本片段（称为标记）。这些标记可以是完整的单词，也可以是字符集。每个序列的最后一个标记是隐藏的，模型需要预测它。训练算法随后比较预测结果与隐藏标记，并调整模型的参数，以便下次做出更好的预测。
这一过程通常使用数十亿个语言片段、科学文本和编程代码进行，直到模型能够可靠地预测隐藏的标记。到此为止，模型的参数已经捕获了训练数据的统计结构，并且能够根据这些知识生成新的标记（推断），即便这些标记在训练数据中并未出现过。
LLM的局限性
尽管CoT提示已被集成到o1的工作中，并成为其强大能力的核心，研究人员指出，LLM仍然有显著局限，尚不能实现AGI。以需要规划为例，Kambhampati的团队展示了，尽管o1在需要最多16个规划步骤的任务中表现出色，但当任务要求的步骤增加到20到40个时，其表现显著下降。Chollet也在测试中发现，o1在设计的抽象推理和泛化测试中表现不足。该测试呈现了一些视觉难题，解决这些问题需要通过观察示例来推导抽象规则，并使用这些规则来解决类似的新实例——这一点人类做起来相对容易。
Chollet指出，LLM无论其规模如何，都无法真正适应新颖的任务，因为它们没有能力将所学的知识重新组合，并用新的方式来应对新情境。“LLM无法真正适应新任务，因为它们缺乏在需要时从知识中做出复杂组合的能力。”他说。
LLM能实现AGI吗？
那么，LLM能否实现AGI？从正面来看，底层的变换器架构可以处理不同类型的信息，不仅限于文本，还可以是图像和音频，只要能够适当将这些数据进行标记。纽约大学的Andrew Wilson及其同事表示，这可能是因为不同类型的数据共享一个特点：这些数据集具有低“Kolmogorov复杂度”，即生成这些数据集所需的最短计算程序的长度。研究人员还表明，变换器特别适合学习低Kolmogorov复杂度的数据中的模式，且随着模型规模的增大，这种适应性也会增强。变换器有能力模拟广泛的可能性，这增加了训练算法发现适当解决方案的机会，Wilson认为，这些是实现普适学习的关键要素。
尽管Wilson认为AGI目前仍然遥不可及，但他也指出，使用变换器架构的LLM和其他AI系统具备一些与AGI行为相似的关键特性。
然而，也有迹象表明，基于变换器的LLM存在局限性。首先，用于训练模型的公开数据集正变得越来越有限。位于旧金山的Epoch AI研究所估计，用于训练的公开文本数据存量可能在2026年到2032年之间耗尽。另有迹象表明，LLM随着规模扩大取得的进展已经不如以往显著，这可能与数据的重复性或其他因素有关。
Google DeepMind的Raia Hadsell提出，强大的基于变换器的LLM被训练来预测下一个标记，但这种单一目标的训练方式太过局限，无法实现AGI。她认为，构建能够一次性或以大块生成解决方案的模型，可能会更接近AGI。
构建世界模型
AGI的突破可能来自神经科学家们的直觉，他们认为我们的大脑通过构建“世界模型”来实现智能。世界模型是对周围环境的表征，可以用来想象不同的行动路线并预测其后果，从而进行规划和推理。它也可以用来将已学到的技能从一个领域推广到新任务，通过模拟不同的场景来帮助学习。
一些报告声称，在LLM中已经出现了初步的世界模型。例如，麻省理工学院的Wes Gurnee和Max Tegmark声称，一些常用的开源LLM在训练过程中会发展出关于世界、美国和纽约市的内部表征。尽管其他研究人员在X（前Twitter）上指出，尚未有证据表明这些LLM能够使用世界模型进行模拟或学习因果关系。
然而，其他研究表明，当今AI系统学习的世界模型可能不可靠。例如，哈佛大学的计算机科学家Keyon Vafa及其同事使用纽约市出租车行程的巨大数据集训练了一个变换器模型，预测下一个行驶路线，准确率接近100%。但研究人员发现，该模型构建的地图与曼哈顿的实际街道布局相去甚远，显示出模型在理解世界方面的缺陷。
反馈的缺失
当前的LLM缺乏一个重要的特性——内部反馈。DeepMind的Dileep George表示，大脑中充满了反馈连接，使得信息能够在神经元层次之间双向流动。这些双向的信息流动使得大脑能够构建和更新世界模型，并在此基础上进行推理和规划。而目前的LLM主要通过单向预测标记来运作，反馈机制有限。
Kambhampati认为，构建AGI可能还需要更多的“元学习”，即AI能够学习如何学习。在这一过程中，AI不仅从给定任务中获得信息，还能够自我调节自己的学习过程，并应用到其他任务中。这一过程不仅依赖数据的输入，还涉及AI与世界互动的能力。
结论：AGI还有多远？
尽管大型语言模型（LLM）在许多任务中展现出了前所未有的能力，但它们仍然缺乏通向AGI的关键特征。为了达到AGI，AI需要具备更深的推理能力、更强的世界建模能力，以及跨领域泛化和灵活适应新任务的能力。AGI的实现需要更多的科学突破，尤其是在世界模型、反馈机制和元学习等方面。尽管AGI的实现可能并非遥不可及，但要实现真正的人类级智能，AI还需要跨越许多障碍。
页:
[1]