AI 组队做网页花费多了,四组对照只有一组明显提分
多开几个 AI,账单会涨,结果却未必更好。Vals AI 的网页测试显示,组队能不能值回花费,取决于模型怎样分工,以及你要换来质量还是时间。
10 月 9 日,Vals AI 比较了 AI 单独做网页和组队做网页。四组对照的费用都涨了,只有一组的质量提升有充分统计证据。多开几个 AI 的价值,要看多付的钱换回了什么。
同一份需求,多付的钱换来了多少
研究让 GPT-6 Sol 和 Claude Opus 5.5 各做 50 个网页应用,在中档和高档思考下分别比较单个智能体与团队。得分看网页功能测试的通过率。下面这组是提分证据充分的 Sol 中档对照。
| Sol 中档设置 | 功能测试通过率 | 每个应用平均费用 | 完成时长中位数 |
|---|---|---|---|
| 单个智能体 | 77.6% | 1.22 美元 | 12.4 分钟 |
| 团队 | 84.9% | 3.07 美元 | 11.9 分钟 |
来自 Vals AI,本次每种设置只运行一次;费用为研究估算,不是服务报价。
四组团队的费用是对应单个设置的 1.8 到 5.1 倍。其余三组的分数变化不足以确认提分,不能解释成它们一定无效,也不能拿某次高分证明组队稳定更好。
有缓存,重复读需求仍要花钱
Vals AI 发现,多出的费用主要来自缓存输入。每个子智能体都有自己的需求和工作状态,后续调用仍要带上这些内容。多个子智能体分别接收相同材料,后续再次携带这些材料仍要计费。
时间回报也不一致。Sol 高档团队约 28 分钟完成,单个约 38 分钟;Opus 高档团队约 174 分钟,单个约 75 分钟。前者较早拆开并行工作,后者分批安排建设和测试,下一批会等上一批。
什么时候多几个 AI 才有意义
Anthropic 在多智能体研究系统的工程文章里,把可独立并行的广泛检索列为适用场景,也指出紧密依赖、共享大量上下文的工作不一定适合。这是检索任务的经验,不能直接当成网页编程的成绩。
这些数字来自单次运行的网页基准。两款模型使用了不同工具;Sol 的费用估算还没能逐请求计算长上下文加价,因此不能当成所有真实项目的固定花费。
把几份互不依赖的资料分别交给 AI,和把同一个网站拆开后重新接好,协调成本并不相同。本次网页测试说明,增加智能体数量会增加支出,能否换来可验收的质量或时间收益,仍得由任务证明。
出处(2)
内容有误?告诉我们,核实后会更正,并在这里写明改了什么。
文中提到
官方价是每百万 Token 的输入 / 输出价,数字随时更新。
评论
还没有人评论,来写第一条。
发表评论