同样的电多处理 40% AI 工作,微软 Maia 300 要到明年部署
微软公布 Maia 300,预计同样电力下比主流 GPU 系统多处理 40% 的 Token,计划 2027 年开始部署。眼下已在承接 Copilot 业务的是上一代 Maia 200。
10 月 12 日,微软公布第三代自研 AI 系统 Maia 300,它预计在相同电力下,比主流 GPU 系统多处理 40% 的 Token。它计划在 2027 年开始生产部署,这笔效率收益还需要等新系统真正投入使用。
AI 回答一次,后台算一次
模型训练完成后,根据问题生成答案,这段计算叫推理。Maia 300 主要为这种日常使用设计,面向长材料处理、快速对话,以及需要连续执行多个动作的 AI 助手。
一个助手持续读材料、改代码、执行任务,计算开销也会持续发生。对微软来说,让同样的供电能力支撑更多这样的工作,就能扩大服务容量。芯片的竞争因此会落到每次生成回答的成本上。
40% 比的是同样电力下能处理多少
微软预计,Maia 300 相比主流 GPU 系统,每兆瓦可处理的 Token 数量增加 40%。Token 是模型处理文字的计量单位,这个指标衡量的是整套系统利用电力的效率。
所以,40% 不能直接换成每条回答快四成、准确率高四成,或用户账单便宜四成。The Decoder 的报道也将它标为微软的性能主张;公告没有给出 Copilot 降价承诺。
长任务还受材料能否装进内存、读写是否及时的约束。微软为 Maia 300 配备更高带宽内存,把计算、内存和网络一起设计。IT之家介绍的多芯粒和大容量内存,服务的也是这个方向。光把算术做快,未必能让整项任务跑快。
正在服务用户的还是上一代
眼下,Maia 200 已承接 Microsoft Copilot 等生产业务。GitHub Copilot 和 Microsoft Foundry 预计在今年底跟进 Maia 200。这两个时间点不能和明年部署 Maia 300 混在一起。
Maia 200 能运行 OpenAI、微软 MAI 和主流开源模型系列,微软也表示未来仍会保留不同模型和芯片选择。自研芯片增加了供给选择,不能据此断言微软将不再使用英伟达。
这次公告展示了微软想怎样降低服务 AI 的成本。电力效率最后会变成更多服务容量,还是更低的用户价格,要等部署和产品定价给出答案。
出处(3)
内容有误?告诉我们,核实后会更正,并在这里写明改了什么。
评论
还没有人评论,来写第一条。
发表评论