百度放出280B文心基座,想做聊天助手还要接着训练
百度新开放的文心模型是个还没练过听指令的半成品;想做聊天助手得接着训练,动手前还要先算清2800亿参数的设备账和商用规矩。
百度在11月5日开放了 ERNIE-5.5-Flash-Base 的模型权重,也就是训练完成后保存下来的模型参数文件,开发者可以下载回去自己运行并接着训练。消息传到 Linux.do 论坛,有网友纳闷:“什么叫后训练没做也可以先放出来”翻开百度文心团队的调用示例就能看懂:官方输进去的是半句英文“Large language models are”,只让模型顺着往后续写。这版纯文本模型只支持文字输入和输出,目前刚做完预训练,靠大量文字学完了语言和知识,中期和后期训练还没动;官方把它定为后续训练的起点,留给开发者去做领域适配(补学某个行业的资料)、指令训练(练习按人的要求做事)和强化学习研究。想拿它当聊天助手,还得自己补上对话训练。
设备得按2800亿的总盘子准备
打算接着训的团队,动手前得先把硬件账算明白。官方标明总参数 280B、每次生成激活 14B——B 是十亿,也就是总计 2800 亿参数,每次生成只动用约 140 亿。看见账面每次只动用 140 亿,很容易盘算能不能按 140 亿小模型的配置省点设备钱;但这笔便宜占不到,运行起来还是得装下全部模型文件。官方下载表里给了 FP8 和 BF16 两种保存精度的文件,底子相同,精度只是记录模型数字的方式:FP8 每个数用的位数较少,模型文件更紧凑;BF16 用的位数较多。
年入五千万美元内免许可费,但避开三个地区
训出产品准备商用,还得核对百度的许可证 v1.0。非商用免模型许可费;商用相关产品或服务连续 12 个月营收不超过 5000 万美元(含 5000 万美元)同样免模型许可费,首次商用前发一次通知就行,不必等官方回复;营收高于 5000 万美元才要提前拿到书面授权。另外有两条硬规矩:商用得保留“Powered by ERNIE”字样,没有前台界面的产品可以放进开发、API 或交付文档;授权地域不含欧盟、英国和韩国,模型本身、衍生模型和输出在这三个地方都没有授权。
只想找个现成工具写周报、改文案的普通人,完全不用下载这堆文件;手里有数据、想自己训练产品的开发者可以拿它起步,只是免掉模型许可费后,算力设备和后续训练的开销还得自己承担,上线前记得发通知、避开未授权地区就行。
出处(5)
- ERNIE-5.5-Flash-Base官方模型卡 · 百度文心团队
- ERNIE 5.5 Flash Base Model License Agreement v1.0 · 百度文心团队
- ERNIE 5.5 Flash Base官方中文发布说明 · 百度文心团队
- 百度文心开源发布ERNIE 5.5 Flash Base高效基座模型 · IT之家
- ERNIE 5.5 Flash Base开源 · Linux.do
内容有误?告诉我们,核实后会更正,并在这里写明改了什么。
评论
还没有人评论,来写第一条。
发表评论