端侧模式上线那天,API 分发平台该重新划一遍业务边界了
场景:一个 20 人团队把任务重新分了一遍
10 月 20 日,Mac 版 Perplexity Computer 增加了端侧模式:模型与智能体完全在设备上运行,任务规划、推理、文件处理都不需要联网,文件要用户批准才会上云。官方给的硬门槛是 Apple 芯片加 36GB 统一内存、macOS 15 以上,功能面向 Pro、Max、Enterprise 三档订阅。首发可选 Qwen 3.6 与 PPLX Pro 两个本地模型,参数规模没有披露。
放到一个 20 人内容团队身上,问题会变得很具体:每天几千次「改标题、摘要、格式清洗、合规过滤」这类短任务,过去全走云端 API;现在一台常年开机的 Mac mini 就能接住其中一大半,iPhone 远程发起、回工位继续。团队要算的账不是「端侧强不强」,而是哪一档任务离开 API 之后,账单曲线会变。
先划清:什么会走,什么不会走
把调用按特征分成三档,边界就清楚了。
第一档,高频、短输入短输出、数据敏感。这类任务最容易被端侧吃掉:单次几百 token、要求数据不出设备、并发不高。它们同时满足三个条件——本地模型够用、合规压力大、调用量稳定可预测。36GB 内存常驻一套模型与智能体栈,正好覆盖。
第二档,突发、长上下文、多模型对比。这类任务搬不走。长文档理解要吃掉整块显存,一次活动期间并发翻十倍,或者同一问题要三家模型交叉验证——本地一台机器既没有余量也没有弹性,仍然只能回云端 API。
第三档,重生成与训练侧反馈。批量改写、评测跑分、数据回流训练,这些天然是机房活,端侧没有意义。
所以端侧模式真正冲击的是第一档。而第一档恰恰是 API 分发平台调用量的大头、单价却最低的那部分——被搬走的是笔数,不是金额的绝大部分,这是分发平台最需要看清的一点。
平台侧该动的是分档,不是恐慌
真正要改的是产品结构,不是模型货架。第一,按任务档位定价:给短任务做低延迟低价包,把长上下文与突发并发做成明显更贵的档,让价格自己引导任务分层。第二,做端云路由:客户端识别任务特征,能本地跑的就地跑,跑不动再上云,平台卖的是「一整套路由能力」而不是「一个模型端点」。第三,把 36GB 这类硬件门槛写进开发者文档的选型章节——用户要不要买设备,取决于平台给出的边界是否诚实。
还有一条容易被忽略的成本:端侧的内存不可后加,统一内存封在芯片封装里,买了 24GB 就是永久 24GB;而订阅只对 Pro、Max、Enterprise 开放,硬件之外还有一笔按人计的费用。批量采购必须把这两笔一起摊进单座成本,否则「省掉 API 费」的账会算错。
一句话判断:端侧模式不会让 API 分发平台没生意,但会让「什么该按次卖钱」变得必须重新回答一遍。答得清楚的平台,长尾任务流走之后留下的都是高价值档;答不清楚的,只会在低价短任务上被持续抽血。
来源:9to5Mac、IT之家、Perplexity 帮助中心、什么值得买硬件对比