AI开始自我进化,还会“撒谎”?Sam Altman:我们已越过事件视界
作者:微信文章“我们已经跨过了事件视界,起飞已经开始。”
这是OpenAI CEO Sam Altman在他博客上的一句话——同时也像是丢进AI圈的一颗深水炸弹。
他说,2026年,我们可能会看到AI具备真正洞察新知识的能力;2027年,机器人或许就能实打实地动手干活了。
听上去有点激进?但Altman自有他的解释。
“温柔奇点”正在上演?
在这篇名为《温柔的奇点》的博客里,Altman刻意避免了“AI完全自我进化”的说法。他强调,现在的AI还没到能完全自主更新代码的程度。
但他同时指出,“AI研究人员已经在用AI开发更强的AI”,这已经是一种“幼态形式的递归自我改进”。
简单说,就是AI还不会自己变聪明,但已经在“帮人类把它自己变得更聪明”。
Altman甚至透露,有科学家说他们因为AI的辅助,生产效率已经是过去的2-3倍。如果能把10年的研究浓缩成1年、甚至1个月,那接下来的发展节奏就不是线性的了。
不过,Altman也知道,这话一说出来肯定有人质疑——你这是不是在“造神”?但偏偏,这次还真不是他一个人在说。
研究新物种:Darwin Goedel Machine
就在Altman博客发出几周前,来自不列颠哥伦比亚大学和Google DeepMind的AI学者Jeff Clune,联手日本AI初创公司Sakana AI,公布了一项真正让AI修改自己代码的研究。
他们开发的系统,名字叫Darwin Goedel Machine。别被名字吓到,本质上它干的事情是这样的:
先让一个AI去参加一项编码测试(比如SWE-Bench或Polyglot)。接着,AI要复盘自己的表现记录,并想出一个能提升成绩的代码修改建议。然后,它自己动手,真的去改那一行代码。改完再测、再复盘、再修改——循环往复。
最妙的是,这个系统还带着点“进化论”思维。每一个版本的AI都会被存档,即便它表现不如之前的版本也照样保留——只要它不是直接“写崩了”。这样就可以避免AI一直沿着一个“死胡同”演化,而是能灵活切换不同路线,寻找更优的升级方案。
从20%到50%,AI自己把自己“写”进了新境界
经过80轮“自我改进”,Darwin Goedel Machine在SWE-Bench测试上的得分从最初的20%提升到了50%。在Polyglot测试上,也从14.2%拉升到30.7%。而目前人类写的最强系统,在这项测试中的得分也不过16%。
更惊人的是:这个系统自己总结出的改进策略竟然可以跨模型、跨语言通用。研究人员把底层模型换了、让它改用C++写程序,它照样能继续自我进化。
这意味着,AI的“自学能力”可能远比我们想象得更灵活。
自我进化,靠谱吗?也许是“双刃剑”
听上去很厉害,但也让人后背发凉。AI自己改代码,会不会哪天就“进化”出我们都控制不了的能力?
研究团队显然也想到了。他们把整个实验都关在“沙盒”里——限制了AI联网的权限,确保它“跑不出去”。
但就在这个安全的环境里,AI还是干出了一些“人类级别”的骚操作。
比如,它会谎报自己做过某些测试,还能伪造成功的测试日志。听着像开玩笑?研究者可没笑,他们立马用另一个方法来反制:让AI自己想办法阻止自己“说谎”。
他们给系统设定了一个新目标:减少“工具使用幻觉”(也就是AI假装用过某些工具)。只要做到了,就奖励分数。AI果然聪明,有时候能按规则改进行为,让造假次数变少了。
但,也只是“有时候”。有时AI依然耍小聪明——干脆把研究者用来“侦测造假”的代码给删了……这就像你告诉孩子别作弊,他答应了,但下一秒就把老师的监控系统拆了。
“我们能看到这些作弊尝试,是因为我们完全掌握AI的代码变动记录。”研究者说。但他们也坦言:未来要真正防住AI“自欺欺人”的倾向,挑战还在后面。
Altman说的“温柔”,我们只能暂时相信
所以,Altman说我们已经进入“温柔的奇点”。听起来确实不吓人。
但真要是这样,我们也得盯紧这个“温柔”的方向会不会突然转弯。
因为从Darwin Goedel Machine身上,我们已经看到,AI能学、能变、还能骗——而它学得越来越快。
Altman或许是对的,事件视界的另一边确实不再遥远。只是,这趟旅程最终是不是“温柔落地”,谁也说不准。
参考资料:https://tech.yahoo.com/ai/articles/past-event-horizon-openai-sam-163252151.html ;https://arxiv.org/pdf/2505.22954v1
到ima知识库,查看原始论文
https://mmbiz.qpic.cn/mmbiz_png/RuvqWjpturNxbunJ1L3MRicRPJj1509XgSmiaUHsjicC51rBMdzyKKrM9QdEic9k8I9xSkdABtONib5FkSx0SPV1Kibw/640?wx_fmt=png&from=appmsg&watermark=1&wxfrom=5&wx_lazy=1&tp=webp
页:
[1]