AI 软件
买软件、装软件之前先查:要不要花钱、能不能填自己的 Key、开源还是收费、用的人多不多。
收录 3,606 款 · 数据来自 GitHub 和 App Store,每天更新 · 更新时间 2026 年 10 月 5 日
在自己的电脑或服务器上运行、训练模型的工具。
怎么排的:我们整理的常用软件在前,按分类排,同一类里评分人数多的在前;其余按 GitHub 收藏数从多到少。
TokenSpeedlightseekorgTokenSpeed是专为Agent负载设计的开源高性能LLM推理引擎。免费开源 · MITGitHub 收藏 2.2K近 7 天 +7
NemotronNVIDIA-NeMo NVIDIA Nemotron 模型的训练菜谱、数据与部署枢纽,全生命周期聚焦模型训练、微调与智能体推理。免费开源 · Apache-2.0GitHub 收藏 2.1K近 7 天 +31
AlpamayoNVlabs英伟达开源的10B级自动驾驶VLA多模态推理模型,直接实现因果推理与驾驶轨迹预测工作流。免费开源 · Apache-2.0GitHub 收藏 2K近 7 天 +3
Transcribe.cpphandy-computertranscribe.cpp 是基于 ggml/GGUF 的 C/C++ 语音转文本 (STT) 本地推理框架,支持 Whisper、Canary 等 16 个模型家族的推理与量化。免费开源 · MITGitHub 收藏 2K近 7 天 +17
FlashVSROpenImagingLabFlashVSR是基于单步扩散模型的流式视频超分辨率AI推理框架。免费开源 · Apache-2.0GitHub 收藏 1.9K近 7 天 +8
MiniOneRecAkaliKong基于大语言模型与强化学习的生成式推荐开源框架。免费开源 · Apache-2.0GitHub 收藏 1.9K近 7 天 +20
HyperQwensyv-ai针对 Qwen 大模型与 vLLM 的本地消费级显卡推理加速、量化 pipeline 与投机采样方案。免费开源 · Apache-2.0GitHub 收藏 1.9K近 7 天 +109
TileRTtile-aiTileRT 是面向大语言模型(如 DeepSeek-V3.2、GLM-5 系列)超低延迟推理与解码的运行时系统。免费开源 · MITGitHub 收藏 1.8K
Vllm Metalvllm-projectvLLM 在 Apple Silicon 上的硬件加速推理插件,能基于 MLX 和 Metal 的本地 LLM 高性能推理,属于 AI 推理基础设施。免费开源 · Apache-2.0GitHub 收藏 1.8K近 7 天 +24
TurboQuant0xSero大语言模型推理中的KV缓存量化与压缩算法实现,集成了Triton算子与vLLM支持。免费开源 · GPL-3.0GitHub 收藏 1.8K
Vllm Mlxwaybarrios基于 Apple Silicon/MLX 的高性能本地大模型与多模态模型推理服务端。免费开源 · Apache-2.0GitHub 收藏 1.6K近 7 天 +9
NeoHorseTokenRhythmNeoHorse是面向Agent与自改进工作流的开源大语言模型及决策模型(NeoHorse-1与NeoHorse-Jev)。免费开源 · Apache-2.0GitHub 收藏 1.6K近 7 天 +404
WallyRunanywhereAIWally 是用于本地及托管运行开源前沿模型、提供 OpenAI 兼容 API 并驱动代码 Agent 的工具。免费开源 · MITGitHub 收藏 1.6K近 7 天 +3
Gemma Tuner Multimodalmattmireles面向 Apple Silicon 的 Gemma 多模态(文本/图像/音频)LoRA 微调与训练工具。免费开源 · MITGitHub 收藏 1.5K近 7 天 +2
Faster Qwen3 TTSandimarafioti基于Qwen3-TTS模型的实时语音合成与克隆推理加速。免费开源 · MITGitHub 收藏 1.4K近 7 天 +2
Jefffirelex针对零样本分类微调的轻量级语言模型(Qwen/Gemma微调模型),提供本地推理与训练微调工作流。免费开源 · MITGitHub 收藏 1.4K
SGLang-Omnisgl-project专门针对语音模型(TTS、ASR)与全模态统一模型的高性能推理与模型服务框架。免费开源 · Apache-2.0GitHub 收藏 1.3K近 7 天 +28
Cosmo Edgecosmo-wander-ai面向边缘设备(算能、瑞芯微、x86)的 C++ 边缘 AI 引擎,能视频分析、端侧 VLM、目标检测与可视化编排推理流程。免费开源 · Apache-2.0GitHub 收藏 1.3K近 7 天 +19
1Cat vLLM1CatAI专为 NVIDIA Tesla V100/SM70 架构深度优化的大模型推理与 serving 引擎工程分支。免费开源 · Apache-2.0GitHub 收藏 1.2K近 7 天 +46
Ollayaollaya-dev本地运行和拉取开源决策与分类模型(如Laya、Winnow、NLI等),提供决策推理服务。免费开源 · Apache-2.0GitHub 收藏 1.2K近 7 天 +409
VeRL-Omniverl-projectVeRL-Omni 是专门针对多模态与扩散生成模型的强化学习(RL)训练框架。免费开源 · Apache-2.0GitHub 收藏 1.2K近 7 天 +38
Labs MoltNVIDIA-NeMoMolt 是面向研究的 Agentic 强化学习与 SFT 训练框架。免费开源 · Apache-2.0GitHub 收藏 1.2K
Tiny Vllmjmaczan项目使用 C++ 和 CUDA 从零实现高性能大语言模型推理引擎与教学课程。免费开源 · Apache-2.0GitHub 收藏 1.1K近 7 天 +6
TurboOCRaiptimizer基于PP-OCRv6与TensorRT实现GPU端文档解析、OCR、版面分析、表格与公式识别。免费开源 · MITGitHub 收藏 1.1K近 7 天 +12