软件详情

LLM Compressor综合评价:不错

vllm-project · 模型部署与训练

专为 vLLM 部署设计的大模型压缩库,帮人做模型量化与剪枝瘦身。

免费开源 · Apache-2.0
GitHub 收藏4K
代码最近更新2026 年 11 月 10 日
许可证开源 · Apache-2.0
要不要花钱免费
还没有人点评,来写第一条看口碑 ↓

主要用于对大模型进行量化、剪枝与蒸馏瘦身,导出适配 vLLM 推理的格式。适合需要降低模型显存占用的技术人员。使用时需要写代码调用配置。

用起来难吗要写代码能用的模型智谱 GLM通义千问

能做什么

  • 量化模型权重与激活层
  • 剪枝专家模型降低计算量
  • 分层压缩并支持卸载到内存
  • 导出适配 vLLM 的模型格式

怎么开始

  1. 需要会写代码,先安装该库与运行环境
  2. 加载模型并配置量化或剪枝规则
  3. 运行压缩并导出格式给 vLLM 部署

选它,如果你……

  • 你需要为 vLLM 部署压缩和大模型量化
  • 你想给大模型做 4 位或 8 位量化来省显存
  • 你需要对 MoE 混合专家模型进行剪枝

别选,如果你……

  • 你不会写代码,只想点点鼠标直接和 AI 聊天
  • 你不需要自己部署模型,只调现成的接口

怎么用

代码开源,可以免费下载使用。

多少钱、在哪买

免费使用。

用户口碑

还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。

发布软件评论

评分
选填
编辑器加载中…

数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。