50道未发表物理题实测: 科学智能体负载有了题价计量单位, API货架加一档

评测设计: 50 道具名研究级题目, 答案可验证

TheoPhysEval 构建了一套 50 道尚未发表的理论物理题目，覆盖经典物理、量子场论、全息与纠缠、引力与宇宙学等方向，每题都有可验证的符号表达式或数值答案。没有 AI 辅助时，单一领域的世界级专家约需一天或更短解出一题；换成相邻领域的专家，耗时会显著拉长。题目来源是全球多家机构的物理学家，论文由 19 家机构的研究者联合署名。

这一点决定了这套评测的定位：它不考记忆，考的是 agent 能不能在多步推导里把具体计算做对。

双轨制: 联网检索 vs 断网内功

测试分两条轨道。真实轨道允许 agent 联网检索文献、写脚本做数值与符号计算，接近真实科研环境；隔离轨道则断开网络、不提供背景文献，只留本地计算工具。同样的 50 道题在两条轨道上各跑一遍，用来区分"会查"和"真会"。

关键数据: 98% 与每题 3 美元以下

在真实轨道下，表现最好的是 GPT-6-Astra 搭配 Codex，最终答案准确率达到 98%，平均每题成本低于 3 美元。这个成本数字是本次评测最值得注意的地方——它把科学智能体的负载第一次折算成了可比的单题价格：一道世界级专家一天才能解出的题，在 agent 侧的边际账单不到 3 美元。

本轮共评测五个 agent：GPT-6-Astra 配 Codex、Opus 5.5 配 Claude Code、Gemini 3.8 Flash 配 Antigravity、DeepSeek-V4.1-Flash 配 Codex、GLM 5.3 配 Claude Code。开放权重阵营里，DeepSeek-V4.1-Flash 在真实轨道得分 54%、隔离轨道 50%，是目前公开可对照的开放权重基准线。

断网后分数变化不大, 说明记住了文献

研究者注意到，整体上 agent 在失去联网检索和背景文献后，准确率只有小幅变化。这提示模型对相关文献存在相当程度的记忆，而不是每次靠现场检索补齐。对采购方来说这是个需要留意的信号：题库类评测的高分，未必等于面对全新问题时的同等能力。

结论

论文的判断是，当前前沿 agent 已能准确完成理论物理研究中那些具体的计算工作，但至今仍没有 agent 主导的科研突破出现，作者对此给出了若干可能解释。对 API 选型而言，这套基准补上了此前缺的一环——科学计算类负载不再只能凭参数量猜，而是有了每道题多少钱的实测刻度。

来源标注：arXiv:2610.16733《TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving》（2026-10-09 提交，hep-th），题目分布、双轨设计与准确率成本数据均取自论文摘要与正文；单题成本为研究方实测均值，实际账单随任务难度与推理配置浮动。