Bonsai 2 语言文件只有0.43GB，手机AI就够用了吗？

0.43GB装得下文件，装不下你以为的全部功能

以前在外包公司写了三年后端，我落下一个毛病：看见格外便宜或者格外小巧的东西，总得先算清这笔账。当年我自己掏钱买所谓便宜的「Claude」中转 Key，连用了两周，才发现对面回话的根本不是 Claude。自那以后，每次看到宣传里出现突破常理的轻巧数字，我第一反应就是看清单里到底装了什么。

2026年10月15日，PrismML 宣布推出基于 Qwen3.5 的 Ternary Bonsai 2 系列，包含 2B、4B 和 9B 三个尺寸，采用 Apache 2.0 协议开放。官方最吸睛的宣传，是它们的文件体积分别只有 0.43GB、0.95GB 和 2GB。之所以能做这么小，是因为他们用 -1、0、+1 三个数值来表示大量模型权重，把原本庞大的数据硬压成了一份紧凑的文件。

看到0.43GB，很容易以为下载这份小文件，手机就能平替云端助手。但翻开官方 2B 模型的说明文件，事情就有了讲究：这个 0.43GB 只是名为 PTQ1_0 格式的纯语言文件（同一组权重还有 0.52GB 和 0.55GB 的版本）。如果你想让手机 AI 具备看图能力，必须单独下载视觉组件——官方推荐的 Q8_0 视觉包体积是 0.36GB，更高精度的 BF16 视觉包则是 0.67GB。

两者加在一起，体积其实早已超出了那个最醒目的 0.43GB。更关键的是，硬盘上的文件大小和运行时的占用不是一回事。一个折叠得很紧的睡袋只占背包很小的空间，但要钻进去睡觉，屋子里必须腾出一整块能铺开的地方。把文件下载到手机里，距离手机内存真正跑起来它，中间还有一段物理距离。

每秒120个Token跑得飞快，不等于拿来就能用

除了体积，另一个让人心动的数字是速度。IT之家在10月16日报道了这套模型的发布与手机测试数据：官方在 iPhone 18 Pro Max 上测出，2B 模型最高能跑出每秒 120 个 Token，即便是 9B 模型最高也有每秒 34 个 Token。

每秒 120 个 Token 看着像打字机冒烟，但普通用户容易忽略两层实际情况。首先，Token 并不等于实际输出的汉字数量；其次，官方在模型卡里特别提醒：在开启思考模式时，哪怕是一个很简单的提问，模型也可能先消耗 3000 多个思考 Token。官方甚至专门写了一句原话提醒大家：“For short answers, turn thinking off.”（想要简短回答，请关闭思考模式）。这倒不是说每次提问它都会机械地耗掉 3000 个 Token，但处理输入和思考也要占用时间。单秒输出速度快，不等于能立刻把结果递到你手上。

更现实的阻碍在软件兼容上。权重开源和普通用户手上的 App 能直接运行，是完全不同的两道门槛。想要运行体积最小的 PTQ1_0 和 PQ2_0 格式，必须使用 PrismML 专门修改过的 llama.cpp 分支；较新的主线版本目前只支持 Q2_0 格式，苹果设备则可以使用 MLX。对于不写代码的普通人来说，即便把这 0.43GB 的文件下载到手机存储里，还得看所用的本地模型软件是否支持这种格式。

挤掉的体积，扣在理解能力上

计算机的世界里向来没有无缘无故的缩水。把原本复杂的权重强行归纳为 -1、0、+1，总得付出点代价。在 Reddit 的 r/LocalLLaMA 讨论区里，用户 u/fugogugo 在发布帖下就直接问了一句：“what can we even do with 2B model?”（2B模型到底能做什么？）。

这位读者的疑问切中了要害。在 PrismML 披露的 19 项基准测试里，模型并没有做到全无损耗。其中最说明问题的，是考察文档理解能力的 Omni_doc 基准：全精度 Qwen3.5-2B 的得分是 71.78，而极限压缩后的 Ternary Bonsai 2 2B 得分直接掉到了 55.64。基准分数不能简单等同于日常使用时的错误率，但这么明显的落差讲明了一个道理：这款模型在这项文档理解测试上确实有损失，不能只看体积和速度就认定能力毫无折扣。

官方在发布时展示了一段 9B 模型在手机上看图并调用外部工具的演示画面。

这套演示确实指明了开发者未来的集成方向，但它是一套展示可能性的演示，并不代表今天你手机里的系统自带助手已经被它无缝替代。

拿能核对的小任务试水，别急着换手机

许多人之所以想把 AI 装进手机，核心诉求是离线处理一些涉及个人隐私的信息，不想把私人文件传到云端。本地计算确实省去了把原始资料上传到大厂服务器的步骤，但前提是模型完全在本地闭环运行。如果调用的外部工具本身需要联网，本地运算并不自动等于整条处理流程彻底与网络隔绝。

理清这几笔账之后，结论其实很明确：不要指望下载一个 0.43GB 的文件，就能让手机立刻拥有一个聪明、全能且完全听话的贴身秘书，更不需要为了演示里跑出的高速度特意去采购一台新手机。

如果你真想尝试在设备上跑一跑这类超小模型，理性的做法是交给它一些你能一眼核对结果的小任务：比如把一段杂乱的日常备忘做个分类，或者从一段短信息里提取具体的时间和地点。在这些任务上，它如果漏了或者编了，你立刻就能发现。把模型做进 0.43GB 是很出色的压缩技术，它降低了设备装下模型的门槛；但装得下是一回事，要把复杂的事情办得准确可靠，依然需要把期望放平。