
GitHub 收藏523近 7 天 +2
代码最近更新2026 年 9 月 15 日
许可证许可证需自行查看
主要负责在大显存需求与消费级显卡间调度混合专家大模型,提供量化加速与兼容接口。适合拥有英伟达显卡且想在本地跑大模型的用户。Windows 可直接安装运行,也可在 Linux 上部署。
用起来难吗下载就能用在哪用WindowsLinux命令行自己部署
能做什么
- 调度显存与内存混合运行大模型
- 提供兼容主流格式的调用接口
- 内置交互式启动器与聊天客户端
- 压缩缓存以降低显存占用
- 支持从 Hugging Face 下载模型
怎么开始
- Windows 下载安装包直接安装,Linux 用脚本部署
- 打开启动器,按提示挑选并下载支持的大模型
- 启动服务,直接在内置聊天窗口输入内容使用
选它,如果你……
- 你想用消费级英伟达显卡在本地运行大参数模型
- 你需要兼容主流格式的模型接口来接入其他软件
- 你在 Windows 系统下想找自带运行环境的工具
别选,如果你……
- 你的电脑没有英伟达独立显卡
- 你只想直接在网页聊天而不想折腾大体积模型
怎么用
需要在它自己的网站或应用里注册使用。
多少钱、在哪买
价格以官网为准。
综合评价:不错(还在更新)
| 更新 | 活跃 | 近 90 天改代码 133 次;最近一次发版是 62 天前(v1.0.20) |
|---|---|---|
| 问题处理 | 暂不评 | 近 90 天只有 5 个新问题,太少不评 |
| 用的人 | 少 | GitHub 收藏 523,近 7 天新增 2;1 人参与开发 |
| 用户口碑 | 暂不计 | 用过的人的评价满 5 条后才算进来 |
提醒:许可证有附加条件或没写清,拿去商用前先看清楚
数字取自 GitHub 的公开记录(2026/10/6), 用过的人的评价来自本页口碑。自己核对:项目主页、问题、外部提交的修改、发版记录。
怎么评的
只看公开、能核对的数据,不打分数,只给四档结论,每一项的依据都写在旁边。
- 更新:近 90 天改了多少次代码、最近一次发版是哪天。7 天内有改动并且改得多或常发版,算「很活跃」;30 天内有改动算「活跃」;半年内算「放缓」;半年以上没动或者已经归档,算「停更」。
- 问题处理:近 90 天新开的问题解决了几成、一般几天解决、外部提交的修改积压了多少。解决八成以上、一般一周内解决、积压不比合进去的多,算「好」;解决不到一半算「差」;其余算「一般」。新问题不到 10 个的不评。
- 用的人:GitHub 收藏 5 万以上算很多,1 万以上算多,1 千以上算一般。旁边写近 7 天新增多少、多少人参与开发。
- 用户口碑:用过的人的评价满 5 条才算进来(注册不满 7 天的账号不算);平均分在 2.5 分及以下,总评降一档。
- 总评四档:还在更新、问题处理好、用的人多 → 推荐;还在更新 → 不错;更新放缓或问题处理差 → 一般;半年以上没更新 → 谨慎。许可证有附加条件、商用受限的,单独提醒,不影响总评。
- 收费软件(ChatGPT、Cursor 这类)没有公开的问题记录,就看 App Store:最近一次更新在 30 天内算「活跃」,半年内算「放缓」,半年以上算「停更」;打分人数 10 万以上算很多,1 万以上算多,1 千以上算一般;评分 4 分以上算好,2.5 分及以下算差,打分不到 100 人不评。再加上用过的人的评价。
收藏数能刷,所以只占一项;更新和问题处理很难刷。数据每天更新,超过两周没更新的不评。
能替代它的
最近更新和热度
- v1.0.20
修复了 Windows 构建与测试问题,恢复提供 Windows 安装包
- v1.0.19
修复了显存越界崩溃问题,并改进了对话模板与工具调用兼容性
- v1.0.18
为多款主流模型支持了标准格式的工具调用与流式输出
近 30 天 GitHub 收藏:+2
用过?说两句
用户口碑
用户评价
还没有评价平均分和优缺点人数只统计说自己用过的评价。注册未满 7 天的账号暂不计分。参与计分不足 5 条时不显示平均分。
用户提问
还没有提问还没有人提问。可以问装在哪、要不要花钱、能不能接自己的 Key、中文好不好用。
数据来源:GitHub,每天更新,更新时间 2026 年 10 月 6 日。 信息有误?告诉我们。