740亿参数装进24GB，英伟达这款本地 AI 能替代云端吗？

世上许多事情之所以显得神奇，往往是因为人们把不同的账本叠在了一起。当英伟达在2026年10月15日宣布推出Nemotron 3.5系列模型时，摆在本地用户面前的问题是：740亿参数模型有了24GB版本，云端按次收费的接口是否还需要保留。

我以前在外包公司写了三年后端，后来第一次自己掏钱买Claude中转Key，用了整整两周才发现屏幕对面回答自己的根本不是Claude。从那以后，只要看到技术宣传里出现省空间、省事或者两全其美的数字，我都习惯先分清这个数字的适用条件。

塞进24GB的是特制版，不能把服务器的成绩借给它

这次英伟达一共端出了三款模型，它们承担的角色差异很大，并不只是同一种模型按大中小号切分。

当天发布的主力是Nemotron 3.5 Super VL。这是一个总参数达到1200亿、激活参数为120亿的多模态模型，支持文字、图片、文档与视频的输入，并输出文字。它专门面向跨步骤的任务执行和企业定制，官方提到它在同类别模型中的吞吐量最高可达5倍。需要分清的是，这个吞吐量比较属于Super VL，并不能直接套到个人电脑上。

而真正被推到普通显卡面前的，是另一款名为Bolt 74B-A9B 24GB的模型。它的总参数是740亿，每次运算激活其中的90亿。官方通过原生2位量化与训练补偿，把原本庞大的体积压进了24GB的部署目标里。说得通俗一点，这相当于让模型用一种更省空间的方式存放参数，好让它满足消费级硬件的部署目标。

除了这两款，英伟达还规划了一款更小的Bolt E4B 4GB，面向本地语音助手、互动角色与嵌入式界面，但它计划在10月23日才推出。如果现在就想下载尝试，手头能获取到的Bolt模型只有74B这一款。

能装进显存是一回事，装得下多长文件是另一回事

模型只要能塞进显存，是不是就意味着本地AI的一切问题都解决了？答案取决于你打算让它读多少东西。

在Reddit的r/LocalLLaMA板块里，模型刚公布就有一位用户提出了疑问：“Curious how much context fits in what’s left of the 24GB though.”（译文：“24GB里剩下的空间，还能装多少上下文？”）

这个问题切中了核心。根据英伟达官方模型卡的技术说明，Bolt 74B-A9B之所以能卡进24GB，是因为其架构搜索预算是按“单任务、128K上下文、24GB以内”来严密核算的，而且这个预算里已经计入了模型权重和运行状态。虽然模型本身最高支持256K上下文，但官方也写得很明白：在具体部署方案里，系统可能会缩短上下文长度，来适应可用的显存和并发需求。

也就是说，官方的24GB目标有单任务、128K上下文这套预算条件。如果你打算读更长的文档、拉满256K，或者让多个人同时提问，就要看具体部署对可用内存和并发的安排，不能直接把这些条件叠加到24GB上。

在软件支持上，Bolt 74B支持llama.cpp、Ollama、LM Studio、Unsloth以及vLLM。硬件适配方面，除了RTX Spark笔记本，也能跑在GeForce RTX电脑、DGX Spark、DGX Station和RTX PRO工作站上。但英伟达从始至终没有保证过，所有拥有24GB内存的设备跑起来都会是一样快的速度。

嘴上写出总结，和动手把事情办妥是两码事

本地模型能生成一份文字总结，并不意味着它在调用工具后完成了所有要求。这次发布中的一个企业任务案例，恰好把这种区别摆到了台面上。

vLLM项目的首日支持文档显示，Super VL把文字、视觉理解与工具使用放在了同一个模型内。而针对企业级任务的执行能力，Prime Intellect与英伟达合作，用2500个企业任务对Super VL进行了进一步训练。在AutomationBench-AA公开测试里，模型的得分从34.0%提高到了57.7%。

这项测试的计分规则很有启发：它是按目标部分给分的，但只要模型在执行过程中破坏了原本不能改动的内容，整道题就会被直接归零。这恰恰解释了为什么“能做总结”不等于“能把事情办成”。把模型部署在本地改写文档、回答问题，但如果你打算让它充当智能体，自己打开文件夹去处理一堆表格，稍微越界改错一行，代价就会完全由你自己承担。

本地模型给了掌控权，但它不能保证你与网络绝缘

把模型部署在自己的机器上，最大的价值其实是选择权。

Bolt模型遵循OpenMDW-1.1许可，开放了权重，允许商用和非商用，但依然有具体的使用条款。这意味着你获得了不用按月给云端平台交订阅费、自由选择适配工具的自由。

但这并不等同于你的数据从此百分之百与外部隔绝。模型虽然运行在本地显存里，但一旦你给它挂载了网页浏览插件，或者让它去调用外部的接口来办事，数据还是会顺着网络发送出去。模型在本地，只代表参数推理由你的显卡承担，整套工具的数据流向依然取决于你怎么配置。

回到最初的问题：你的电脑现在能不靠云端用上AI了吗？

如果你的电脑恰好配备了24GB内存的合适显卡，那么从现在开始，你的确可以在不依赖云端接口的情况下，在本地跑起一个兼顾视觉和文字处理的大参数模型。但24GB只是特定压缩方案下的单任务部署目标，并不代表你能把所有长文件无上限地塞进去，更不意味着服务器级别的处理速度和任务稳定性在一夜之间被全盘搬到了个人电脑上。对于手头没有相应硬件的人来说，为了一个刚发布的压缩模型去专门凑出一套24GB平台，能不能靠节省云端费用收回成本，还要看硬件支出和实际用量；发布时的24GB数字本身，算不出这笔账。