OpenAI发布权威AI科研基准,扯下AI遮羞布:奥赛金牌≠一流科学家!
作者:微信文章OpenAI最新发布的FrontierScience基准,试图用真实的博士级难题,从物理、化学、生物三个维度上考验AI。真相是残酷的:在没有唯一标准答案的科研实战中,AI作为「顶级做题家」,距离真正的科学家,还差得远。
OpenAI在2025年12月16日发布了一套新基准FrontierScience,用来衡量AI在物理、化学、生物三门学科里,能否做到接近专家水准的科学推理,而不只是背知识点。
OpenAI在文中把科学工作描述成一套更接近「持续试错」的流程。
提出假设,设计验证,推翻再重来,还要把不同领域的线索拼成同一张图。
模型越强,问题就越尖锐,AI能不能把这种深推理用到真正的科研推进上。
OpenAI提到,过去一年他们的系统在国际数学奥林匹克和国际信息学奥林匹克上达到了金牌级表现,同时更重要的变化发生在实验室和办公室里。
研究者开始拿这些模型做跨学科文献检索,跨语言读论文,也拿它们去推复杂证明。
有些原本要耗掉几天甚至几周的工作,被压到几小时就能跑完一轮。
为什么需要FrontierScience?OpenAI给了一个对比。
2023年11月,GPQA这个由博士专家撰写、强调「谷歌搜不到」的科学题库发布时,GPT-4只拿到39%,低于专家基线74%。
两年后,GPT-5.2在同一基准上拿到92%。
当旧题库逐渐被刷穿,新的尺子就必须更长,否则你看不出模型还能往哪里发展。
FrontierScience的设计更像是给模型丢进两种不同的「科学难关」。
一类偏竞赛风格,考你在约束条件下把推理做到干净利落。
物理竞赛题示例
另一类更贴近研究现场,要求你在开放问题里把思路走通,哪怕没有标准答案那么工整。
物理科研问题示例
这套评测总量超过700道文本型题目,其中160道属于「黄金组」(Gold Set)题目。
竞赛赛道有100道题,强调短答案形式,便于核验对错。
研究赛道有60个原创研究子任务,由博士阶段或更资深的研究者设计,用10分制评分,拿到至少7分才算通过。
题目质量是有充足保障的:
竞赛赛道和42位前国际奖牌得主或国家队教练合作,总计109枚奥赛奖牌;
研究赛道由45位合格科学家与领域专家参与,覆盖从量子电动力学到合成有机化学,再到进化生物学等细分方向。
OpenAI还承认了一个不那么「中立」的细节。
两套题在制作流程里会刻意淘汰OpenAI自家内部模型已经能答对的题,因此这套评测对OpenAI自家模型可能更苛刻一些。
与此同时,他们开源了两套赛道的「黄金组」题目,其余题目保留,用来追踪数据污染。
OpenAI说,短答案适合机器判定,但研究型任务需要更细颗粒度的量表,于是他们用GPT-5充当模型判卷员,对照短答案逐项打分。
理想状态是请专家逐题批改,现实是规模不允许,于是规则被设计成尽量客观且可被模型检查,并配了验证流程来校准难度与正确性。
成绩单上,OpenAI给出了一轮初测对比。
他们评测了GPT-5.2、Claude Opus 4.5、Gemini 3 Pro、GPT-4o、OpenAI o4-mini、OpenAI o3等模型。OpenAI表示,GPT-5.2在竞赛题上得分77%,在研究题上得分25%,目前领先;Gemini 3 Pro在竞赛题上拿到76%,紧跟其后。
更值得注意的是失败原因。
OpenAI从答题记录里总结,前沿模型仍会犯推理、逻辑和计算错误,会卡在冷门概念上,也会出现事实性偏差。
另一个很朴素的观察也被写进正文:模型想得更久,准确率往往更高。
OpenAI对FrontierScience的边界也直言不讳。
它把科研切成可控的题目,这让评测更标准化,但也意味着它更像一张高清截图,而不是科研的全景纪录片。
尤其是它不评估模型能否提出真正新颖的假设,也不覆盖它与多模态数据和现实实验系统打交道的能力。
接下来,OpenAI计划迭代题库、扩展领域,并配套更多真实世界评估,看这些系统究竟让科学家多做成了什么。
奥赛金牌≠一流科学家,AI距离成为真正能独当一面的一流科学家,还有很长的路要走完。
参考资料:
https://openai.com/index/frontierscience/
>End
>>> 本文转载自“新智元”,原标题《OpenAI发布权威AI科研基准,扯下AI遮羞布:奥赛金牌≠一流科学家!》。为分享前沿资讯及有价值的观点,太空与网络微信公众号转载此文,并经过编辑。未按照规范转载及引用者,我们保留追究相应责任的权利部分图片难以找到原始出处,故文中未加以标注,如若侵犯了您的权益,请第一时间联系我们。
HISTORY/往期推荐
菲常视角 | 金字塔尖的5%,改变世界的破局者
菲常视角 | 创始团队的“扛事儿”基因:比好主意更重要的生存密码
菲常视角 | 创新冲动和锐气,创业者的核心引擎
>>>
充满激情的新时代,
充满挑战的新疆域,
与踔厉奋发的引领者,
卓尔不群的企业家,
一起开拓,
一起体验,
一起感悟,
共同打造更真品质,
共同实现更高价值,
共同见证商业航天更大的跨越!
——《太空与网络》,观察,记录,传播,引领。
>>>
· 《卫星与网络》创始人:刘雨菲
· 《卫星与网络》副社长:王俊峰
·微信公众号(ID:satnetdy)团队编辑:艳玲、哈玫,周泳、邱莉、黄榕、娜娜主笔记者:李刚、魏兴、张雪松、霍剑、乐瑜、稻子、赵栋策划部:杨艳、若㼆、李真子视觉总监:董泞专业摄影:冯小京、宋伟设计部:顾锰、潘希峎、杨小明行政部:姜河、林紫业务部:王锦熙、瑾怡原创文章转载授权、转载文章侵权、投稿等事宜,请加微信:15910858067商务合作;展览展厅设计、企业VI/CI及室内设计、企业文化建设及品牌推广;企业口碑传播及整体营销传播等,请加微信:13811260603杂志订阅,请加微信:wangxiaoyu9960
· 卫星与网络各分部:成都分部负责人:沈淮长沙分部负责人:宾鸿浦西安分部负责人:郭朝晖青岛分部负责人:江伟· 卫星与网络总部负责人:农燕· 会议活动部负责人:乔颢益、许克新、董今福· 投融资及战略层面合作:刘雨菲· 本平台签约设计公司:一画开天(北京)文化创意设计有限公司· 航天加(深圳)股权投资基金管理负责人:杨艳
页:
[1]