Nanbeige4.3-33B跑分亮眼，家用显卡值得换下Qwen吗？

显存有富余、平时就在本地跑代码任务的人值得下载试试，显存紧张只想找个轻便助手的读者不用急着换。BOSS直聘 Nanbeige 团队在 10 月 25 日宣布发布 Nanbeige4.3-33B，采用 Apache 2.0 协议，官方给它的定位是用来给更小模型做蒸馏准备的教师模型，光原始权重体积就有约 66.2GB。对着这个体积，Reddit 和 Linux.do 上的本地玩家都在关心手头硬件能不能跑顺，有 Reddit 网友干脆说现在没看到别人的真实体验前连装都不装。拿自己现有的机器和实际代码任务比一比，比单看榜单就立刻腾硬盘换掉手里的 Qwen 划算得多。

它给小模型当老师，原始权重有66.2GB

官方在模型主页开头就交了底：Nanbeige4.3-33B 被设计为该系列的旗舰教师模型（flagship teacher model），团队计划用它向更小的模型蒸馏能力，比如后续规划中的 Nanbeige4.3-3B。当老师的，本职工作是肚子里货要全、解题步骤要扎实，至于体重超不超标、住不住得进小单间，那是以后 3B 学生才需要操心的事。官方仓库的文件索引显示，它的原始 BF16 权重体积有 66.2GB。拿一个 33B 的教师模型去替换参数规模小一圈的 Qwen3.8-27B，从来就不是一次帮硬件减负的升级。

它真正让人动心的地方，在于编程与工具调用的表现。官方使用同一测试工具和相同的推理超参，把参测模型的思考强度都拉到顶，放出了一组正面对照：

同一张成绩单上的两行数字摆在一起看才清楚：同属代码与工具任务，Nanbeige4.3-33B 在 Terminal-Bench 2.1 上高出 7.9 分，到了 SWE-Bench Pro 上又比 Qwen3.8-27B 低了 1.4 分。两边互有胜负，说明它在特定代码工具场景下确实是个能打的候选，但远没到样样占优、能让你闭着眼把 Qwen 请出硬盘的地步。

512K 上下文看着诱人，算完缓存账再决定开多大

除了跑分，模型卡上标的 512K（524288 Token）上下文上限也很容易让人手痒，觉得终于能把大把代码文件一口气塞进本地模型了。动手改启动参数之前，我们不妨照着官方配置文件把长对话的显存账算明白。

让模型记住长前文，就像请人审厚材料：材料越长，桌子上除了摆工具书，还得腾出越大的地方摊草稿纸。模型记前文靠的是显存里的 KV 缓存，官方配置里写着它采用常规结构，共 52 层、8 个 KV 头、每头 128 维。按标准未压缩的 FP16 精度计算单条序列完整保留所有层缓存的理论空间，算式很直白：K 和 V 两份数据 × 52 层 × 8 头 × 128 维 × 上下文长度 × 2 字节。

把数字代进去算两档就清楚了：上下文开到 32K（32768 Token）时，单是这块缓存就要占掉 6.5 GiB；真要把 512K 上限开满，光缓存一项就飙到了 104 GiB。这 104 GiB 还只是“草稿纸”的理论大小，那 66.2GB 的原始权重以及运行时的其他开销全都没算在里头。家里机箱插着什么卡自己清楚，算出 104 GiB 这个数，伸向 512K 配置项的手自然就收住了。

多轮代码任务，官方建议保留历史思考

算完静态的缓存账，再看官方给的推理设置建议，保留下来的历史思考也会占用上下文。

官方提供了 Transformers、SGLang 和 vLLM 的运行示例，默认开启思考模式（`enable_thinking`）。关键的分水岭在于是否保留历史思考（`preserve_thinking`）：普通聊天场景下，官方建议设为 `false`，后续请求不再保留先前轮次的思考过程；一旦放到多轮工具调用、办公或编程智能体场景，官方建议设为 `true`，工具调用格式优先推荐 xml，同时也兼容 json。前面表里那组跑分，官方脚注里就标明了是在开启 `preserve_thinking=true` 的条件下测出来的。

把这个开关打开，模型每一轮琢磨怎么拆步骤、怎么调工具的完整思考内容，都会留在对话历史里传给下一轮。你在本地挂着编程工具跟它来回改上几轮代码，前文叠加思考过程，这些历史内容也会增加缓存占用。反过来，要是心疼显存把历史思考关了，就改变了官方测试时使用的设置。

手头机器显存宽裕、平时已经在用 vLLM 或 SGLang 跑本地编程任务的开发者，现在值得把 Nanbeige4.3-33B 下载回来，按官方多轮建议打开 `preserve_thinking` 并配好 xml 工具格式，拿自己常干的代码修改或工具活儿跟现有的 Qwen 小范围比一场；为了 512K 的长文本宣传专门去添置硬件就犯不上了。至于显存本来就吃紧、只想在本地留个轻便日常助手的用户，犯不着硬往机器里塞一个 33B 的教师模型，继续用稳手里的旧模型，等团队后续把计划中的 3B 蒸馏版做出来再看更实在。