74B模型塞进24GB：本地推理84 token/s，API分层时代到了

74B模型塞进24GB：本地推理84 token/s，API分层时代到了

10月16日，NVIDIA的RTX Spark笔记本全球开售，六家厂商（华硕、戴尔、惠普、联想、微软、微星）起价2599美元。而它真正的软件主角，是前一天放出的Nemotron 3.5 Bolt 74B-A9B——专为本地智能体工作流设计的MoE混合Mamba-Transformer模型，总参数740亿、每token激活90亿，用2位量化压到约22.1GB，塞进24GB内存预算。

对API分发平台来说，这条新闻的含金量在"分层"。NVIDIA给的定位很直白：Bolt负责日常智能体任务——网页检索、终端操作、写代码调试——全程不出本机；真正的硬核任务再交给云端大模型。配合开源的Switchyard路由器，开发者可以按任务难度在本地与云端之间自动分流。这意味着：高频、低敏感度的流量会被本地模型截走，云端API的核心市场收窄到深度推理、长程规划和多模态等真正吃算力的环节。

性能锚点：官方在RTX Spark上测得84 token/s（AIPerf SPEED-Bench），靠的是LiLiCorr推测解码器（11.3亿参数，7 token草稿，平均接受长度4.68）。 榜单数据（厂商自报）：PinchBench同级开源模型第1、WebArena第2、BrowseComp第2、 Terminal-Bench 2.1得51.0分（对比Qwen3.6-35B-A3B的44.4、Gemma 4 26B-A4B的37.2）。 Artificial Analysis独立榜单上Bolt智能指数21分，与Claude Opus 5.5的58分仍有明显差距——定位是"够用且快"，不是"最聪明"。

开发者接入成本近乎为零：权重10月15日已上Hugging Face，OpenMDW-1.1许可， llama.cpp、Ollama、vLLM、LM Studio、Unsloth全部开箱即用，BF16原版检查点也放出来供微调。

10月23日还要再放一个4GB的Bolt E4B小版本，覆盖语音助手和游戏角色场景。上下文窗口256K，带1.6B视觉编码器，图文输入都支持。

对聚合API平台的产品启示很实际：货架上应该长出一条"本地/端侧"分区，把这类24GB级开源模型按"硬件可运行性"而非"榜单分数"组织， 帮客户算清楚哪部分流量值得留在云端付费调用。 本地84 token/s、零边际调用成本，对比云端每百万token的阶梯报价，路由策略就是新的利润空间。

路由策略的落地节奏：NVIDIA的Switchyard路由器已开源，Hermes、OpenClaw等本地智能体框架10月下旬跟进支持。

来源：NVIDIA官方博客、NVIDIA研究页（Nemotron 3.5 Bolt 技术报告）、 TheNextWeb、TechTimes、AITNT日报（2026.10.18）