10月22日，哈佛大学两名研究者公布了一项新发现，他们撰写的论文《AI审稿意见全面胜过高水平人类同行评审》显示，通过对比134组AI与人类撰写的审稿意见，AI在七个评估指标上均表现更优。
研究团队邀请三位曾任顶级学术期刊主编的专家进行盲评。在30次比较中，专家们有26次认为AI的审稿意见更出色。
在事实准确性上，AI审稿意见的错误率仅为5.5%，而人类则高达15.9%。
这一结果对近期与AI企业频繁交锋的数学家群体而言，或许并不令人欣慰。
上个月，陶哲轩等25位菲尔兹奖得主联名批评AI公司急于宣布数学突破，强调数学研究必须经过严谨的验证和审查。
数学家们正要求AI接受严格的学术检验，而另一边，人类审稿工作似乎也面临被AI取代的风险。
图片由AI生成
人类表现全面落败
参与比较的人类审稿人并非普通志愿者。
研究涉及124篇学术论文，并采用了哈佛大学定量社会科学研究所旗下rapidPeer服务提供的134份人类审稿意见——这是一项付费的专业审稿服务，审稿人由领域专家挑选，来自不同研究机构，且报酬丰厚。
这些人类审稿人的表现原本不错：在接受调查的74位论文作者中，88%认为收到的审稿意见质量高，其中60%给出了最高评价。
研究者使用Anthropic的Claude Opus 4.8生成审稿意见，再由OpenAI的GPT-5.5担任AI评委，在不知作者身份的情况下比较两者的质量。
结果人类完败。
即使不允许AI联网，只给予和人类相同的审稿指南，在134组对比中，GPT-5.5也全部判定AI胜出。
改用专门优化的提示词并开放联网后，134组比较中有132组明确判定AI获胜，剩余两组结果不确定，人类仍无胜绩。
具体来看，在补充参考文献、发现论文弱点和研究方法三个维度上，AI的胜率高达100%；在理论创新、论述框架、表达质量等方面，胜率也均超过90%。
研究者还检查了AI引用的651个带有DOI或arXiv编号的参考文献，发现全部真实存在，无任何编造内容。
此时可能有人质疑，AI审稿AI评是否公平，担心AI会偏袒同类或隐藏线索。
为此，研究者邀请三位前学术期刊主编分别进行10次盲评。结果在30次比较中，人类评委有26次选择了AI。
就连人类评委也站到了AI一边。
研究进行到这一步，作者们甚至开始讨论：学术期刊或可取消常规的人类同行评审，由AI承担大部分审查工作，仅保留人类编辑负责最终决策，必要时再请专家介入。
10月23日，该论文发布后，斯坦福大学政治学副教授徐轶青公开表示，学术界应重新考虑人类专家在审稿中的角色。他认为，人类专家仍需参与，但已无需亲自撰写长篇审稿意见。
那些禁止使用AI审稿的期刊，也到了该重新审视自身规定的时候。
看来，人类审稿人的工作，已有人打算交给AI。
AI审稿，认真到令人烦扰
那么，AI究竟如何超越人类审稿人？
答案或许很简单——它不知疲倦。
审稿是一项费神的工作，需通读论文，检查研究方法、数据、图表和论证，并寻找可能遗漏的文献。
论文作者甚至在实验介绍中吐槽部分传统期刊审稿人：有人才看到第三页，就开始寻找足以否定论文的致命缺陷，以便不再继续阅读。
相比之下，AI显然没有急于下班的动机。
图片由AI生成
此次实验中，研究者将Claude Opus 4.8的推理强度调至最高，并专门设计了一套审稿提示词，允许其联网查找资料。
结果发现，AI平均每审一篇论文，需进行12.4次联网搜索。
不过，认真效果显著。在不联网、使用普通审稿指南时，AI在补充参考文献方面的胜率为62%；换用优化提示词并开放联网后，胜率直接提升至100%。
今非昔比。
今年4月，学术期刊《Organization Science》的编辑团队曾发表研究，分析过去几年收到的上万份审稿意见，发现大量使用AI的审稿报告更难读，讨论的问题也更狭窄。
当时研究人员甚至认为，AI生成的审稿意见尚未达到人类水平。结果不到半年，哈佛就给出了另一份成绩单。
但AI过于认真，有时也会让人崩溃。
论文作者举例，AI甚至会吹毛求疵到荒唐程度：明明知道2+2=4正确，却还要指出作者未定义加号的含义。
人类审稿人可能嫌论文毛病多，AI却可能“找茬成瘾”，没毛病也挑出点错来。
何况AI能力还在不断进步。
过去是论文作者需要向人类审稿人证明研究值得发表；未来可能轮到人类审稿人向学术期刊证明，自己为何还值得花钱聘请。
数学家们或感尴尬
近期，数学家和AI公司的较量已从验证数学证明延伸到同行评审。
9月11日，陶哲轩等首批25位菲尔兹奖得主联名发声，批评AI公司把破解数学难题当成模型能力竞赛，急于宣布重大突破，却未给数学界留下足够时间验证、理解和讨论。
9月29日，数学与AI咨询小组（AGMAI）专门发布指南，强调已被人类数学家充分理解的AI研究成果，应按传统学术规范发布论文，接受期刊同行评审。
数学研究有一套延续多年的规则。证明完成后，需经专家检查、同行讨论，才能逐渐成为公认知识。
AI公司可以兴高采烈地宣布攻克难题，但数学界认不认可，是另一回事。
还有部分数学家，连审稿人的位置都不想让AI触碰。
10月7日，一个名为“人类数学协会”（AHM）的组织公开批评OpenAI一次性发布700多份数学研究文件，认为这更像展示力量，而非认真做学术。
该组织明确要求成员不得发表AI生成的数学论文、评论，连审稿报告也不行。
就在数学家们努力给AI立规矩时，哈佛的两位研究者却将人类和AI审稿人一同送上考场。
结果我们看到，AI不仅开始挑战人类写论文的能力，现在连挑论文毛病，也比不少专业审稿人厉害。
当然，哈佛这项研究主要涉及社会科学论文，尚未能证明AI可独立审查复杂数学证明。数学家要求严格验证，本身并无过错。
但事情发展至此，多少显得荒诞。
数学家们仍在强调，AI不能绕过人类同行评审这道门槛。
AI却已开始研究，能否把守门人也替换掉。
本文来自微信公众号“字母AI”，作者：袁心玥，36氪经授权发布。如需获取更多科技前沿资讯，可访问九游体育 (中国)官方网站-九游体育 (中国)官方网站。