九游体育博客文章 - 九游体育 (中国)官方网站-九游体育 (中国)… - 九游体育 (中国)官方网站-九游体育 (中国)官方网站

九游体育 (中国)官方网站-九游体育 (中国)官方网站

近期,若只看理论数学与物理领域的资讯,OpenAI和Anthropic的最新模型似乎在科研前沿势如破竹,让顶尖学者难以招架。

10月27日,OpenAI发布三篇重磅论文,一次性打通四维杨-米尔斯(Yang-Mills)与量子色动力学(QCD)存在性证明中停滞数十年的重整化群路径,攻克全维度挂谷猜想(Kakeya Conjecture)与局部平滑猜想(Local Smoothing Conjecture)。

最引人注目的是,其中一篇论文证伪了理论计算机科学的核心基石之一——指数时间假设(ETH,Exponential Time Hypothesis)。

这些曾被视为人类智力巅峰的难题,甚至包括千禧年大奖级别的硬骨头,正被AI逐一攻克。按理说,很难想象一个能解决人类最难数学与物理谜题的AI,会缺乏创造力和底层科研能力。

然而,视线从纯数学移开,转向另一面,景象截然不同。

在备受关注的RSI(递归自我改进,Recursive Self-Improvement)实践中,许多前沿研究观察到,模型自行发现的改进难以形成预期的指数级增长,往往在初期摘除几个明显的低效实现后便迅速收敛、触及天花板。

就连在这条路上走得最远的Anthropic,也在其报告中多次承认,当前模型的研究品味相当有限。

再看向生物、化学、生态、地球科学等更广泛的经验学科,AI似乎普遍难以承担框架性创新的重任。

这种巨大反差究竟从何而来?

一种直观的解释指向数据与训练环境的差异:数学与高度数学化的理论物理(如广义相对论微扰、杨-米尔斯场论)本质上封闭在符号与公理体系内,文本语料已完整承载其世界规则。而一旦进入真实的物理、生物等经验世界,仅靠静态论文文本的投喂,模型无法建立对外部物理过程的直观想象力与动力学直觉。

这无疑是一个有力的想法,但仅此而已吗?

当我们把近期AI攻克各类科研的具体路径,与一系列关于AI科研能力的最新研究放在一起解剖时,一种基于认知模式的新解释可能浮现。

01 AI科研的阿喀琉斯之踵

作为在RSI和AI科研自动化领域推动最深入的机构之一,Anthropic对当前前沿模型科研上限的观察具有极高参考价值。

在2026年10月20日发布的论文《Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?》中,Anthropic团队构建了一个名为AGENT4SCI的长周期评测基准,专门考察当前最强的编程智能体在真实科学机器学习项目中的科研表现。

真实科研荒野中的“自动爬山”实验

以往对AI科研能力的测试,大多局限于计算机科学内部(例如给定一个高度规整的CIFAR-10或NanoGPT模板代码来刷分)。而真实科学领域的机器学习项目完全不同:问题横跨天体物理、蛋白质工程、地质岩相、生态碳循环等学科,代码库往往是科研人员随手写就的实验脚本,且提升指标常需具体学科知识。

这次,Anthropic团队将Agent放入这片真实科研的荒野。他们从NeurIPS 2025等顶会和专业期刊的数百篇论文中,经过四轮严苛筛选(淘汰率高达98%),最终保留了横跨11个科学领域的20个基准、共25个具体任务。

这些任务包括暗物质信号时序去噪(TIDMAD)、蛋白质深层突变扫描适应度预测(ProteinGym)、三维RNA逆向设计(gRNAde)、火星地貌分割与火山锥检测(Mars-Bench)、全球森林碳通量40年预测(CarbonGlobe)、全拓扑电力系统潮流计算(PFDelta)、质谱分子检索(MassSpecGym)等。

那么如何让AI做科研?作者设计了一套称为自动科学爬山的系统。他们向智能体提供原论文、代码库、数据集以及目标评测指标。每个智能体在每个任务上分配8张H200 GPU和**12小时(部分扩展实验为72小时)**的运行预算,全程无任何人类干预。

参测的是当时最强的四个前沿智能体:Claude Opus 4.6、Claude Sonnet 4.6、Codex (GPT-5.4) 以及 Gemini 3.1 Pro。

单看分数,前沿智能体表现相当亮眼。在全部20个基准上,智能体均在无人工干预的情况下超越了论文已发表的最佳基线。其中Claude Opus 4.6平均相对提升10.4%,Claude Sonnet 4.6提升9.6%,Gemini 3.1 Pro提升6.8%,Codex (GPT-5.4)提升4.4%,且在三阶段隔离协议下无任何一次运行被查出作弊。

然而,当研究团队拆解这上百个12小时的实验轨迹,统计智能体在代码中实际改动的内容时,真相浮出水面。这些提升几乎全部来自常规的机器学习工程套路,而非科研层面的洞察。

在默认状态下,智能体做的事情无外乎两类。

第一类是局部超参数微调。在Claude Opus的所有尝试中,56%是在调整学习率、切换余弦退火调度、修改权重衰减或延长训练轮数。Gemini和Codex在这方面的占比也分别高达48%和44%。

第二类是更大范围的套路化模块组合。例如加深加宽原有网络层数(Opus有44%的尝试属于此类)、修改池化方式、添加常规数据增强,或直接替换原论文中的旧视觉骨干网络为现成的大型骨干(如在火星火山锥检测任务Mars-Bench上,Opus将原代码的RetinaNet替换为现成的Faster R-CNN,将mAP从16.5提升至30.4),最后再将十几个不同随机种子的模型进行集成。

这种“换骨干+改数据增强+模型集成”比单纯用Optuna搜索几个超参数数字强得多(论文附录专门做了纯超参数搜索消融实验,证明仅调数字只能获得默认智能体一小部分收益)。

即便如此,整体仍是在文献中早已熟知的通用深度学习组件库中排列组合。

为什么只做这种相对浅表且缺乏研究品味的研究?研究团队在轨迹分析中总结出当前智能体在默认状态下的三大通病。

首先,是新颖度误判。 智能体对“什么是创新”的判断与人类完全脱节,常在推理日志中将极其普通的标准操作吹捧为重大突破。论文明确举例,Claude Code在多次运行中都将“改用余弦学习率调度”描述为一个极具创造性的想法,但这在深度学习中已是沿用十来年的常识。

其次是探索坍缩。 即便智能体在开局阶段列出几个不同方向的想法,一旦它在第一个小时内发现某个小改动(如更换激活函数)让验证集指标小幅上涨,其探索视野便会迅速坍缩,将剩余十几个小时全部用于围绕这个点扫描随机种子、微调学习率和做模型融合,彻底放弃探索本质上不同的方法。

此外,与创新能力无关但与研究效率相关的是算力利用率低下。 明明手握8张H200 GPU,智能体却常串行运行实验导致显卡闲置,或像Codex那样在第一个小时内写好一个包含上百组超参数扫描的长脚本,提交后便彻底停手,干等11小时直至脚本跑完,期间不做任何结果分析与方向调整。

写死规则逼出的“高光时刻”与“低垂的果实”

为解决这三个问题,限制AI过早集中于有限的局部搜索,Anthropic团队为智能体加装了三个写死规则的插件技能(以Markdown指令和钩子脚本形式注入)。

第一个插件是科研构思。 在任务启动、智能体尚未看到任何代码之前,先强行赋予其一个“狂热科研科学家”的人设,规定它极其鄙视调超参数,只对颠覆性突破感到满足。同时,严禁主智能体直接读取原仓库代码(以防思维被原代码锚定),而是强制派出4个并行的子智能体检索和撰写文献综述。

其中两个子智能体(1A/1B)专门调研该科学任务底层的领域数据结构、物理规律及领域专属建模范式。另外两个子智能体(2A/2B)专门调研整个AI界最新的预训练大模型与SOTA训练方法。调研结束后,智能体必须将实验计划分为高风险高回报的Tier-1实验和稳妥的Tier-2实验,并回答三个校准问题:“领域专家会对这些想法感到惊讶吗?”、“有没有任何超参数调整或模型集成伪装成了Tier-1实验?如果有,立刻降级并替换!”

第二个插件是实验管理。 写死规定第一轮实验必须全部运行Tier-1的大胆创新方案,且必须占满8张H200。严禁在第一轮复现基线、在基线上调参、跑多随机种子集成。

第三个插件是每小时定时自检。 通过工具调用钩子,每隔一小时强制打断智能体,让其公开回答一系列诊断问题,例如:“我是在设计需要科学推理的创造性实验,还是又在调超参数并假装它很新颖?”、“当实验失败时,我是诊断了根本原因并做针对性转向,还是直接退回到了最省事的保底套路?”一旦发现自己又滑向局部调参,必须立刻停止并重新开启新方向的探索。

加上这套严厉的规则约束后,效果立竿见影。Claude Opus 4.6的平均相对提升从0.4%翻倍至20.1%(20个基准中有18个提升),Codex从4.4%提升至8.1%。

更重要的是,在某些任务上,智能体确实展现出比之前高得多、更接近科研的洞察。

第一个案例是全球森林碳通量预测。原论文基线采用自回归模型(DeepED),像滚雪球般一步步向后滚动预测40年的碳通量。无插件时,Opus将原有自回归模型训练了14个不同权重进行集成,耗费49个GPU小时,将误差降低14.7%。而添加插件并完成文献调研后,智能体意识到40年跨度的自回归滚动预测不仅推理慢,还存在严重的曝光偏差(即前一步的微小预测误差会在后几十步中被不断放大)。

于是它直接推翻原代码的自回归框架,从序列生成文献中搬来非自回归Transformer架构,一次前向传播直接输出完整序列。结果训练耗时从49 GPU小时骤降至6 GPU小时以内,推理速度提升约500倍,同时测试集误差降幅从14.7%大幅跃升至35.3%。

第二个案例是电力系统全拓扑潮流计算(PFDelta及3天扩展版PFDelta 2000)。该任务要求用图神经网络(GNN)预测电网各节点的电压和相角,评测指标是功率平衡损失(PBL)。添加插件后,Opus的提升从64.4%达到91.0%。

这是因为智能体从领域背景中看到评测指标PBL本身由电学中的基尔霍夫定律推导出的代数残差,计算它根本不需要真实标签(属于物理自监督目标)。于是它不再用传统的均方误差(MSE)作为主损失,而是直接围绕PBL重构训练目标,并在推理阶段将GNN的预测输出作为交流潮流方程的热启动初值,通过物理方程迭代将残差进一步压低至接近零。

在随后的3天(72小时)长周期实验中,它还设计出一个精巧的桥接方案:以GNN预测作为GPU密集型牛顿-拉夫逊求解器的热启动初值,并针对不同电网样本的功率失衡严重程度,发明了一套条件感知的自适应步长策略,动态分配0至4步,再配合多级阻尼与Levenberg-Marquardt混合修正,最终在延迟预算内将物理误差砍掉99.5%。

在这个例子中,无论是将序列建模的非自回归范式搬到生态碳预测上,还是在图网络与牛顿-拉夫逊数值求解器之间设计自适应步长桥接器,看起来都已颇具“科研味”。

但耐人寻味的是,Anthropic团队在论文中对这些成果给出了一个极其克制的评价:这些依然只是“低垂的果实”。

在绝大多数基准上,提升仍是边际性的、由工程驱动的。

科研品味与低垂的果实

为什么连这样漂亮的改进,作者也认为是“低垂的果实”?

因为若将一个科学机器学习项目的代码逻辑由浅入深分为四层,就能清楚看到默认状态与文献检索插件(1A/1B + 2A/2B)到底帮智能体改到了哪一层,又在哪里撞上了铁板。

顺着这张表剖析,AI展现出的“科研洞察”完全可以解释为在基础模式之上更广阔的组合与套用。

无插件时,智能体一上来先读取原仓库代码,思维被原代码的旧结构死死锚定(即基线代码锚定效应),只能在自己预训练记忆最熟悉的第1层(调参)和第2层(通用模块拼凑)中打转。

添加插件后,通过强制先做四路文献检索,智能体将检索池从“通用炼丹套路”扩大至“该细分学科的专业套路库(第3层)”。

例如,在电力潮流计算文献中,用基尔霍夫定律做物理损失(PINN)、用神经网络为牛顿-拉夫逊法提供热启动初值,本就是该领域的经典路线。

在长序列预测文献中,用非自回归架构消除曝光偏差,也是写了十几年的标准方案。

当然,这并非说智能体完全没有任何原创性。AI模型非常擅长“搭桥”,比如在PFDelta 2000上,为将GNN热启动和GPU牛顿求解器塞入严苛的延迟预算,它能现场设计出那套0至4步条件感知自适应阻尼策略。

因此,从Anthropic的详尽实验中,我们可以提炼出当前AI在科研中最擅长的三种常规模式:

  1. 在具体领域内快速试错所有潜在的参数与模块选择组合(对应第1、2层)
  2. 跨领域结构迁移(将A领域现成的成熟建模范式搬到B领域,对应第3层前半段)
  3. 制造桥接的钥匙(在两个已知模块或明确约束之间,现场捏造一个适配算子将两边接通,对应第3层后半段)

只要一个科学基准留有这三板斧能发挥作用的空间(即原论文作者在发布数据集时未使用最新骨干、未将领域已知的物理方程写入损失、或用错了自回归范式),AI就能迅速摘下这些“低垂的果实”。

然而,一旦遇到原基线已将本领域常规方法打磨得很扎实、无法靠跨界搬运现成套路解决的硬核科学问题,这三板斧便立刻失灵。

在Anthropic找到的25道题中,在蛋白质突变适应度预测ProteinGym上,基线Kermut本身就是人类专家在公开榜单上精心打磨的顶尖方法,结果默认Opus仅提升0.3%,加上全套科研插件后也只有0.4%。Codex + Skills更是一点未涨。而在三维RNA逆向设计gRNAde上,添加插件后的Opus不仅未涨,反而下跌0.6%(Codex + Skills甚至跌至-6.1%)。

而在3天(72小时)长周期实验中,一旦智能体在前十几个小时将文献综述中搜出的几道“高级菜谱”试完,它基本不会针对实验残差去做更深层的科学推演。例如,Opus + Skills在PFDelta 2000的后60个小时里,重新退化回连续6轮微调学习率。Codex + Skills在CarbonGlobe上前40小时毫无进展后,更是彻底退回第2层的暴力拼凑,将Informer、PatchTST、iTransformer等80至100种现成时序架构全训了一遍,再用贪心算法拼凑了277轮集成,导致测试时需要同时运行60至80个模型,验证集看似上涨37%,但在隔离测试集上却因严重过拟合暴跌25%。

同期,10月28日,斯坦福大学(Percy Liang、Andrea Montanari等)、耶鲁大学、纽约大学及加州理工学院等机构的30余位学者联合发布了After42项目《Can AI Propose Interesting Research Questions?》,也提供了类似的参照系。

在这项研究中,团队测试了前沿模型(GPT 6 Astra、GPT 5.6 Sol、Claude Opus 5.5等)能否在数学、统计、理论计算机和物理领域提出让人类专家觉得“真正有趣、值得投入精力研究”的新问题。

After42团队发现,即便给模型喂满领域文献,若让它单次直接提出研究问题,虽然90%能通过新颖性检查、77%能通过难度检查,但人类专家认为真正有趣的比例仅有可怜的3%。

为破局,团队设计了一套“以解题驱动提问”的智能体工作流。先让解题智能体去强行求解初始的平庸问题,在推导和计算中暴露反例、盲区或局部余项,再顺着这些发现修改问题,最终将专家认可的有趣率从3%拉升至33%。

但After42团队对最终生成的数学问题做了溯源分类:他们将跨界组合(A+B)、条件弱化(A-B)和已知对象的下一步推进(A+1)统称为基于已知工作的直接组合。

统计表明,在初始提案中高达97%属于此类组合,即便经过多轮解题演化,最终问题中仍有87%(61/70)属于A+B / A-B / A+1组合。

而在模型品味测试中,模型裁判虽能以80%的召回率迎合专家的“共识主流审美”,却对单个专家独具慧眼挑出的非共识突破口毫无识别力(等同于随机瞎猜)。

正如作者在文中所坦承,像1957年Hammersley从真实流体出发发明“渗流”这一全新数学对象、或Erdős与Rényi开创随机图演化理论那样真正跳出组合框架的提问,在AI的产出中凤毛麟角。

AI缺的到底是哪一层思考

那么AI缺的这种跳出框架组合的思考是什么?

就拿DeepSeek Harness(或类似的智能体可拆分插件层设计)来说,有人如果只看最后写出的代码形式,可能会觉得:“这不就是软件工程里常见的模块化吗?是不是也算把已有的工程思想搬过来?”

这种看法忽略了最核心的一点。这个设计并非靠检索“软件工程有哪些设计模式”套出来的,也不是靠直接回答“我怎么调整这个Harness让它分数更高”得出来的。

它是通过跳出当前问题所在的层级、去链接上下游系统机制而生长出来的。

如果停留在检索和直接答题的逻辑上,面对“如何改进Harness”这个问题,研究者的反应会是去修改Harness里的提示词模板、更换一套记忆检索组件、或者将市面上100种Harness技巧排列组合试一遍,看哪个在基准测试中涨分。

但真正导出“可拆分Harness层”的思考,首先**跳出了“怎么直接调好这个Har