Ollama 默认拉走 25GB 的 74B：Nemotron E4B 当天上架，接入要绕的四个坑

同一天三个渠道都能拿到，这不是一场发布会

10 月 23 日 15:41（UTC），NVIDIA 官方账号宣布 Nemotron 3.5 Bolt E4B 可用；同一天，Hugging Face 仓库、Build.NVIDIA.com 的托管端点、Ollama 模型库三处同时上线。官方 model card 记录发布日为 10 月 23 日，许可证 OpenMDW-1.1，仓库未设门禁，下载不需要确认协议。就可得性而言，这是今年少见的“零等待上架”：开发者不必等任何一家云厂商排期，也不需要先谈商务再拿 key。

参数口径要先记牢：8B 总参、4B 有效参，架构沿用 Gemma-4-E4B，由 NVIDIA 在其之上做后训练，官方卡的上下文写 64K 输入、64K 输出、纯文本。它的定位不是替代旗舰，而是给本地语音与设备助手、嵌入式界面用的小模型——低显存、低首字延迟，把余量留给同一条流水线里的语音识别与语音合成。

四个接入坑，第一天就已经有人踩

坑一：模型 ID 少一个后缀，拉下来的是另一个模型。Ollama 库里 nemotron-3.5-bolt 不带标签时指向 25GB 的 74B-A9B，E4B 必须用 :e4b 系列标签，体积 7.2 至 7.9GB 起。聚合与分销层同理：模型 ID 不做白名单，错发的就不是“便宜一点的小模型”，而是体积十倍、显存需求完全不同的另一个东西。

坑二：名字里的 4GB 是内存预算，不是文件大小。Q4_K_M 的 GGUF 实际 6.18GB，BF16 版本 15.88GB，仓库里没有任何 4GB 的产物。4GB 指的是目标负载下的实测占用。官方公布的单并发 llama.cpp 数据：RTX 5070 12GB 占用 3.5 至 4.3GB，首字 548 至 1238 毫秒，106.2 至 133.4 tokens/s；RTX Spark 32GB 为 52.0 至 67.0 tokens/s；Jetson Orin Nano 8GB 占用 4.2GB，首字约 5785 毫秒，13.0 至 15.5 tokens/s；Jetson AGX Orin 为 20.3 至 24.0 tokens/s。以上均为厂商自测。按这个口径，边缘设备的存储要按 6.2GB 规划、显存按 5GB 预留，另加 0.74GB 的可选 DFlash 加速草稿模型。

坑三：上下文口径两边不一致，默认值还会悄悄截断。官方卡写 64K、纯文本；Ollama 页面标 128K，并把视觉输入列了进去，两边尚未对齐。更实际的问题是 Ollama 在 24GiB 以下显存的机器上默认上下文只有 4K，工具定义加两轮对话就吃满，不显式下发 OLLAMA_CONTEXT_LENGTH，多轮工具调用会静默丢掉上下文却照样返回结果。接入方应把上下文默认值当成 API 契约写进文档，而不是交给运行时默认。

坑四：吞吐差十倍，决定它能不能替掉云端 API。133.4 tokens/s 与 13.0 tokens/s 是同一份权重在不同硬件上的结果，前者撑得住实时语音，后者只够离线批处理。同一个名字挂在不同货架上，能力边界差一个数量级。

算一笔换不换的账

按典型语音客服场景：每轮 2000 输入 tokens、200 输出 tokens，日均 3000 轮，即每天 6M 输入、0.6M 输出。以 10 月主流前沿模型每百万 tokens 输入 2 美元、输出 10 美元的公开价目，日成本约 12 加 6 等于 18 美元，月约 540 美元。本地一台 RTX 5070 按 133 tokens/s 生成 200 个 token 约 1.5 秒，够到实时对话的体感；但官方那组数字是单并发 batch 1，实际并发必须自己压测，不能直接乘并发数。若按单卡千元级投入计，回收期不到两个月，且不含电力、运维与模型升级的人力——这笔账只在“高频、低难度、可离线”的任务上成立，复杂推理仍应留在云端（上述测算为假设口径，非厂商数据）。

观察一句：小模型的分发权正在从云厂商转到模型仓库，day-0 三渠道同步意味着“上架快慢”不再是竞争点。对 API 聚合与分销方来说，可卖的不再只是算力，而是模型 ID 的一致性、上下文默认值的显式化、按设备档位分级的性能承诺；这三件事做不好，价格再低也会被退单。

来源：NVIDIA 官方模型卡与 Build 平台、Hugging Face 仓库、Ollama 模型库及第三方实测整理（2026-10-23/24）。