同一模型、同一价目表,账单差 3.2 倍:编码代理由每步复送的 16,581 tokens 前导决定贵贱
同一条 API、同一个模型、同一份价目表,跑同一批任务,账单可以差三倍。差价不在模型,而在包在模型外面的那层壳,也就是 harness:系统提示、工具描述、上下文压缩规则。山东大学两位研究者(Yangze Liu、Zhongyi Han)10 月 3 日提交的预印本把这个变量单独拎出来量了一遍:492 个 SWE-bench Verified 离线任务、5 个模型、3 个生产级 harness——Claude Code、OpenCode,以及约 100 行 Python、只暴露一个 bash 工具、不做上下文压缩的 mini-SWE-agent。
结论的第一句就是账单
同一模型、同一任务、同一价目表下,单任务成本最多相差 3 倍;而准确率的差异,多数落进了重跑一遍的噪声区间里。换句话说,给 agent 换一层更华丽的壳,买到的是更贵的账单,不是更高的通过率。
差价出在第一次调用,不在工具返回
三个 harness 每次工具调用返回的文本量几乎相同,均值和 90 分位都对得上。真正的差额来自每一步都要重发的固定前导——系统提示、工具 schema 和消息包装:Claude Code 16,581 tokens、OpenCode 7,025 tokens、mini-SWE-agent 829 tokens。这段前导按步数复利,步数越多付得越多。以 GLM-5.3-Flash 为例,单次试验在 Claude Code 花 1.81 元、mini-SWE-agent 0.97 元、OpenCode 0.56 元,最贵与最省相差 3.2 倍。
但排序会随模型翻面。换到 DeepSeek-V4-Flash,mini-SWE-agent 跑到 141 步、Claude Code 只 104 步,轻壳的前导优势被步数吃掉:15.2 美分对 14.6 美分,轻壳反而略贵。哪家 harness 便宜没有全局答案,只有哪一组 harness-模型配对在你那批任务上便宜。
缓存命中 96%-99%,仍然改不了排序
在两段按厂商价目计费的模型数据里,96%-99% 的输入 token 命中提示缓存。按理说缓存折扣该把差距抹平,但作者把同一份 token 用另一家的缓存价重算,三个 harness 的贵贱排序原封不动:缓存价只缩放账单,不重写账单。
这给聚合层的比价口径提了个醒。按公开价目做一个折算示例:输入 0.10 美元每百万 tokens、缓存输入 0.01 美元每百万,命中率 99% 时有效输入单价约 0.0109 美元,命中率 96% 时约 0.0136 美元,两者只差四分之一;可同样是 96% 命中,前导从 829 tokens 涨到 16,581 tokens(20 倍),有效成本就按 20 倍走。前导体积是乘数,缓存命中率只是系数。
准确率那部分,落在重跑噪声里
447 道题的池子上,最重的 Claude Code 与最轻的 mini-SWE-agent 相差不到 2 个百分点,在 5 个百分点内统计等价。45 道最难的题上,换 harness 让结果翻转的任务占 13%,而同一配置重跑一遍,翻转率中位数也是 13%,换模型才把这个数字拉到 22%。作者的功效分析更直接:45 道题只有一半概率检出 12.9 个百分点的差距,要做到 80% 功效得用 447 道题,且只能分辨 5.2 个百分点。
唯一超过噪声的差异是负的:OpenCode 在 447 池落后 8 到 9 个百分点,其中约一半来自 33 次撞上 32,000 输出上限后没有恢复,Claude Code 只有 1 次。这不是壳笨,是它的续写策略没接上。
给 API 采购与路由层的三条口径
第一,比价单位从每百万 tokens 改成每解题任务 token 数,并且必须带上前导复送:16,581 tokens 乘 100 步就是 166 万 tokens 的模板开销,账单大头常常是这段,而不是仓库里的代码。第二,harness 也是版本变量,把 harness 版本与系统提示体积写进验收和账单回归,每次升级跑一遍同任务成本,涨幅超过 10% 就回滚。第三,单跑榜单不足以选型:13% 的翻转率意味着三到五个百分点的榜单差异基本是噪声,采购决策要看预算内通过率,而不是裸通过率。
按一次试验 1.81 元对 0.56 元的差(1.25 元)算,一个月 2 万次试验就是 2.5 万元、一年 30 万元的纯壳差,模型没换、任务没变。聚合分发这门生意能收的钱,一半在模型货架上,另一半就在把这类壳成本显性化。
来源:山东大学预印本 arXiv 2610.04433《What Does a Harness Buy? Tokens, Mostly.》(Yangze Liu、Zhongyi Han),VentureBeat、The Decoder、Data Phoenix 报道。