首词时延 1.26 秒、1M 上下文占 47.8%：分词元服务计分板，端到端秒数比单价更能决定选型

一句结论：首词快不等于体验快

10 月 23 日，中国信通院人工智能研究所联合中国人工智能产业发展联盟发布《大模型词元服务性能监测报告（2026年）》。报告基于 2026 年 1 至 8 月监测数据给出的四个数字值得并排看：国内模型 8 月平均首词时延（TTFT）1.26 秒、平均每秒输出词元数（TPS）78.23、上下文达到 1M 的模型占 47.8%、6 月日均词元消耗约 500 万亿（为 2025 年 12 月的近 4 倍）。把 TTFT 和 TPS 放进同一个式子，结论会和单看任意一项都不一样。

时延涨了 61.5%，但这不是退化

1.26 秒对 2025 年均值 0.78 秒，涨了 61.5%。同期国外典型模型 TTFT 从 4 月的 1.04 秒升到 8 月的 2.08 秒，翻了一倍。报告把原因归为参数量、上下文长度、调用量同步抬升，不是服务变差。对做 API 分发的平台，这意味着 2025 年那张国内首词时延低于 1 秒的选型表已经过期，照抄会误判。

上下文窗口：95.7% 的模型已过 200K

被监测模型中上下文达 1M 的占 47.8%，200K 及以上合计 95.7%，较 2025 年底提升超过 76 个百分点，反推 2025 年底 200K 及以上只占两成上下。上下文从加分项变成门槛项，预填充阶段的算力消耗随之上抬，这正是首词时延变长的主要原因之一。换言之，时延是被能力换走的，不是被工程丢掉的。

端到端算一遍：单价便宜 8.8 倍，长回答却慢 37%

按报告均值做静态测算：一次输出 800 词元的请求，国内端到端约 1.26 加 800 除以 78.23，等于 11.49 秒；国外约 2.08 加 800 除以 112.82，等于 9.17 秒，国内慢 2.32 秒。把输出拉到 2500 词元，国内 33.22 秒、国外 24.24 秒，慢 8.98 秒，端到端溢价 37%。但同一份价格表上，国内归一化均价 13.46 元每百万词元，国外 117.8 元，差距 8.8 倍。所以选型不该只问谁便宜或谁首词快，而要按输出长度分档：短回答的交互场景，国内短首词直接兑现；长文档、长代码、报告生成这类任务，时间成本会吃掉单价优势。

给采购与架构的三条硬指标：一是要求供应商按输出长度分档报 TTFT 与 TPS，而不是只给一个平均首词时延；二是把同款模型跨平台 TPS 差距最大接近一倍这一事实写进 SLA，报告已确认部分第三方平台性能优于原厂，同一权重换个货架就是换性能，中间层必须保留换源能力；三是长上下文请求单独设计费与限流口径，1M 窗口下的预填充成本不能再当免费项。

落地：把一句时延拆成三项可测指标

监测口径里，首词时延只是四分之一。真正能进合同的应是四项：分档 TTFT、分档 TPS、调用成功率、异常波动窗口。信通院自 2025 年 5 月起把调用成功率采样频率提到每 5 分钟一次，采样一密就抓到更多偶发不可用，这个细节对自建监控是现成提示——日级平均会掩盖分钟级抖动，而抖动才是客服与实时智能体最先感知到的部分。建议每日按小时留存 P95 首词时延、按小时留存失败码分布，用两到四周数据定基线，再谈价格。

我们的观察

聚合分发的价值正从接入更多模型，移到按首词时延与输出长度做路由。当一个 2500 词元请求的端到端差异达 8.98 秒、而单价差异达 8.8 倍时，最优解往往既不是最便宜的源，也不是最快的源，而是把两类源同时挂在路由表上、按任务长度动态选。2026 年的成本优化，重点已经从砍单价转向砍等待时间。

来源：中国信通院《大模型词元服务性能监测报告（2026年）》，数据经凤凰网科技、IT之家（新浪财经）交叉核验；端到端测算为本刊依报告均值计算。