← 返回新闻列表

推理栈开源之后,API 货架的价格底线被重画

发布于 2026-10-21 17:25:02 · 11 阅读

推理栈开源,等于把 API 的成本曲线摊到桌面上

10 月 20 日 DeepSeek 以 Apache 2.0 开源了自家的生产推理框架 DeepInfer,配套的 Token 编解码组件 deepseek-recipe 走 MIT。对做聚合分发的平台来说,这条新闻的价值不在「模型货架又多一个」,而在上游厂商第一次把服务端的效率工程公开:定制算子、MoE 专家并行、投机解码、异步调度全都可见。

先看官方给的经营数据(厂商自报):单集群每天服务 155 万亿 token,按谷价折算每 GPU 每小时 38 美元收入。按这个口径推算,一个 128 卡规模的集群在谷价时段一天约 11.7 万美元的算力收入。数字说明一件事——推理服务的利润来自调度效率,不来自抬高单价。

对货架的三条影响

一是价格底线继续下压。开源版目前只支持 DeepSeek-V4.1-Flash(默认 1017 版权重),跑在英伟达 SM100 与华为昇腾 950 上,官方给出的高效最小部署是 64 卡 prefill 加 64 卡 decode。头部厂商把自家生产栈放开,二线云与自建团队的单位成本会被拉近,Flash 这一档在货架上已经没有向上加价的空间。

二是接入一致性有了参照物。deepseek-recipe 把请求到 token 序列的转换逻辑与官方 API 对齐,第三方部署理论上能给出和官方一致的行为。对聚合平台,这直接降低「同一模型多个渠道、输出对不齐」的排障成本;反过来也意味着渠道切换的体验差异会缩小,比价在选型里的权重上升。

三是缺失项本身就是护城河。KV 缓存系统、prefill 与 decode 的分离部署、跨副本负载均衡都没有开源,只留了设计文档。第三方能拿到引擎,却拿不到「把它跑成每天 155 万亿 token」的那套工程——这一层恰恰是云厂商敢定价的底气,也是我们要盯住的地方。

我的判断

对分发平台,短期不构成成本冲击,中期会压缩 Flash 档的加价空间。可落地的动作有两个:把 V4.1-Flash 的多渠道价格按每百万 token 实际成本重排一次,而不是按标价排序;把「渠道行为一致性」做成可测指标——同一 prompt 在多渠道路由下的输出差异率,在比价之外多一层选型依据。

还要留意一个外溢信号:vLLM 社区已公开回应会吸收 DeepInfer 的思路。这意味着这套优化不会锁在 DeepSeek 一家,半年内中端模型的推理成本大概率还有一轮下探,货架的定价表得按季度而不是按年更新。

补一条给采购的口径

把每 GPU 每小时 38 美元的营收数字倒推成 token 单价,中间缺一个关键变量:单卡吞吐。官方只给了集群每天的 token 总量,没给单卡 token/s,所以这个数字不能直接当自建成本来用。采购实操更稳的做法是按自己的请求结构压测:取一千条真实 prompt,分别测 prefill 与 decode 的占用,再叠加机房电价与设备折旧。这一步不做,任何「自建比 API 便宜多少」的结论都只是估算。

来源:DeepSeek 官方 GitHub(DeepInfer 仓库与部署问答)、SiliconANGLE、Quartz、36氪