
GitHub 收藏3K
代码最近更新2026 年 11 月 10 日
许可证许可证需自行查看
主要用于对大模型进行量化压缩,在训练和推理时提升运行速度并降低显存占用。适合算法工程师与开发者。需要写代码安装并调用对应函数使用。
能做什么
- 压缩模型权重以降低推理显存
- 加速大模型预训练与微调流程
- 挽回量化造成的模型精度损失
- 优化混合专家架构的计算耗时
怎么开始
- 需要会写代码,在环境中安装该工具包及依赖项。
- 在代码中引入模块并指定需要的量化配置。
- 将量化方案应用到模型上进行训练或推理加速。
选它,如果你……
- 你需要降低大模型推理或训练时的显存占用。
- 你想为 Llama 或 Qwen 等模型做量化加速。
- 你习惯在 PyTorch 环境中编写代码调优模型。
别选,如果你……
- 你不会写代码,只想要开箱即用的成品软件。
- 你需要带界面的本地大模型聊天客户端。
怎么用
需要在它自己的网站或应用里注册使用。
多少钱、在哪买
价格以官网为准。
综合评价
不错还在更新,问题处理一般
- 更新活跃近 90 天改代码 97 次;最近一次发版是 99 天前(v0.18.0)
- 问题处理一般近 90 天新开 51 个问题,解决了 171 个,一般 580.7 天解决;外部提交的修改合进 112 个,待处理 525 个
- 用的人一般GitHub 收藏 3,025;249 人参与开发
- 用户口碑暂不计用户评价满 5 条后才算进来
提醒许可证有附加条件或没写清,拿去商用前先看清楚
数字取自 GitHub 的公开记录(2026/11/10), 用户评价来自本页口碑。自己核对:项目主页、问题、外部提交的修改、发版记录。
怎么评的
只看公开、能核对的数据,不打分数,只给四档结论,每一项的依据都写在旁边。
- 更新:近 90 天改了多少次代码、最近一次发版是哪天。7 天内有改动并且改得多或常发版,算「很活跃」;30 天内有改动算「活跃」;半年内算「放缓」;半年以上没动或者已经归档,算「停更」。
- 问题处理:近 90 天新开的问题解决了几成、一般几天解决、外部提交的修改积压了多少。解决八成以上、一般一周内解决、积压不比合进去的多,算「好」;解决不到一半算「差」;其余算「一般」。新问题不到 10 个的不评。
- 用的人:GitHub 收藏 5 万以上算很多,1 万以上算多,1 千以上算一般。旁边写近 7 天新增多少、多少人参与开发。
- 用户口碑:用户评价满 5 条才算进来(注册不满 7 天的账号不算);平均分在 2.5 分及以下,总评降一档。
- 总评四档:还在更新、问题处理好、用的人多 → 推荐;还在更新 → 不错;更新放缓或问题处理差 → 一般;半年以上没更新 → 谨慎。许可证有附加条件、商用受限的,单独提醒,不影响总评。
- 收费软件(ChatGPT、Cursor 这类)没有公开的问题记录,就看 App Store:最近一次更新在 30 天内算「活跃」,半年内算「放缓」,半年以上算「停更」;打分人数 10 万以上算很多,1 万以上算多,1 千以上算一般;评分 4 分以上算好,2.5 分及以下算差,打分不到 100 人不评。再加上用户评价。
收藏数能刷,所以只占一项;更新和问题处理很难刷。数据每天更新,超过两周没更新的不评。
最近更新和热度
- v0.18.0
- v0.17.0
- v0.16.0
GitHub 收藏
3,025 次净增 +52026/11/05—2026/11/102026/11/10 · 3,025 次
查看每日记录
| 日期 | GitHub 收藏(次) |
|---|---|
| 2026/11/05 | 3,020 |
| 2026/11/06 | 3,020 |
| 2026/11/07 | 3,023 |
| 2026/11/08 | 3,023 |
| 2026/11/09 | 3,023 |
| 2026/11/10 | 3,025 |
能替代它的
标出的是和 Ao 不一样的地方
DeepSpeed综合评价:不错侧重大模型训练推理的性能加速与显存优化还没人评 · 11 天前更新
Colossal-AI综合评价:不错侧重加速大模型训练部署并降低算力成本还没人评 · 524 天前更新
AirLLM综合评价:不错让普通小显卡也能运行或训练超大语言模型还没人评 · 66 天前更新
| 软件 | 起步价 | 难不难用 | 中文 | 开源 | 口碑 | 最近更新 |
|---|---|---|---|---|---|---|
| Ao | — | 要写代码 | 没写明 | 代码公开 | 还没人评 | 98 天前 |
| DeepSpeed | 免费 | 要写代码 | 没写明 | 开源 | 还没人评 | 11 天前 |
| Colossal-AI | 免费 | 要写代码 | 没写明 | 开源 | 还没人评 | 524 天前 |
| AirLLM | 免费 | 要写代码 | 没写明 | 开源 | 还没人评 | 66 天前 |
逐项对比Ao 对
| Ao | DeepSpeed | |
|---|---|---|
| 起步价 | — | 免费 |
| 难不难用 | 要写代码 | 要写代码 |
| 中文 | 没写明 | 没写明 |
| 开源 | 代码公开 | 开源 |
| 口碑 | 还没人评 | 还没人评 |
| 最近更新 | 98 天前 | 11 天前 |
标黄的是两款不一样的地方
用户口碑
还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。
数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。
发布软件评论