文章详情

AI 组队做网页花费多了,四组对照只有一组明显提分

一句话看懂

多开几个 AI,账单会涨,结果却未必更好。Vals AI 的网页测试显示,组队能不能值回花费,取决于模型怎样分工,以及你要换来质量还是时间。

10 月 9 日,Vals AI 比较了 AI 单独做网页和组队做网页。四组对照的费用都涨了,只有一组的质量提升有充分统计证据。多开几个 AI 的价值,要看多付的钱换回了什么。

同一份需求,多付的钱换来了多少

研究让 GPT-6 Sol 和 Claude Opus 5.5 各做 50 个网页应用,在中档和高档思考下分别比较单个智能体与团队。得分看网页功能测试的通过率。下面这组是提分证据充分的 Sol 中档对照。

Sol 中档设置功能测试通过率每个应用平均费用完成时长中位数
单个智能体77.6%1.22 美元12.4 分钟
团队84.9%3.07 美元11.9 分钟

来自 Vals AI,本次每种设置只运行一次;费用为研究估算,不是服务报价。

横轴为每个应用的美元费用,纵轴为功能测试通过率;空心点是单个智能体,实心点是团队。图中 medium、max 分别表示中档和高档思考。 · 图片来源:截图自 Vals AI 研究原文,10 月 12 日

四组团队的费用是对应单个设置的 1.8 到 5.1 倍。其余三组的分数变化不足以确认提分,不能解释成它们一定无效,也不能拿某次高分证明组队稳定更好。

有缓存,重复读需求仍要花钱

Vals AI 发现,多出的费用主要来自缓存输入。每个子智能体都有自己的需求和工作状态,后续调用仍要带上这些内容。多个子智能体分别接收相同材料,后续再次携带这些材料仍要计费。

时间回报也不一致。Sol 高档团队约 28 分钟完成,单个约 38 分钟;Opus 高档团队约 174 分钟,单个约 75 分钟。前者较早拆开并行工作,后者分批安排建设和测试,下一批会等上一批。

什么时候多几个 AI 才有意义

Anthropic 在多智能体研究系统的工程文章里,把可独立并行的广泛检索列为适用场景,也指出紧密依赖、共享大量上下文的工作不一定适合。这是检索任务的经验,不能直接当成网页编程的成绩。

这些数字来自单次运行的网页基准。两款模型使用了不同工具;Sol 的费用估算还没能逐请求计算长上下文加价,因此不能当成所有真实项目的固定花费。

把几份互不依赖的资料分别交给 AI,和把同一个网站拆开后重新接好,协调成本并不相同。本次网页测试说明,增加智能体数量会增加支出,能否换来可验收的质量或时间收益,仍得由任务证明。

出处(2)
  1. Do Agent Teams Pay Off? A Case Study on Vibe Code Bench · Vals AI
  2. How we built our multi-agent research system · Anthropic

内容有误?告诉我们,核实后会更正,并在这里写明改了什么。

评论

还没有人评论,来写第一条。

发表评论