AI 软件
买软件、装软件之前先查:要不要花钱、能不能填自己的 Key、开源还是收费、用的人多不多。
收录 3,606 款 · 数据来自 GitHub 和 App Store,每天更新 · 更新时间 2026 年 10 月 5 日
在自己的电脑或服务器上运行、训练模型的工具。
怎么排的:我们整理的常用软件在前,按分类排,同一类里评分人数多的在前;其余按 GitHub 收藏数从多到少。
vLLM 2080Ti Definitiveweicj面向双RTX 2080 Ti等SM75架构硬件优化的vLLM推理运行时,能本地部署与加速大语言模型推理。免费开源 · Apache-2.0GitHub 收藏 1.1K近 7 天 +66
DeciderMapika该项目基于Qwen3.5微调开源System One类型决策模型及配套推理服务。免费开源 · Apache-2.0GitHub 收藏 1.1K近 7 天 +188
Traceradrida将大模型trace蒸馏提炼为轻量ML模型并进行自适应路由与降级。免费开源 · MITGitHub 收藏 1K
AnyJevnokia-applied-researchAnyJev 将 LLM 转化为具备校准概率和类型化输出的决策模型。免费开源 · Apache-2.0GitHub 收藏 1K近 7 天 +170
TensorFoldashhart在 Apple Silicon 与 NVIDIA GPU 上提供本地 LLM 推理与 OpenAI 兼容 API 服务。免费开源 · Apache-2.0GitHub 收藏 983
UniLabMotphys面向机器人强化学习(Robot RL)的基础设施与训练框架,核心业务即为端到端策略模型训练与评估。免费开源 · Apache-2.0GitHub 收藏 949近 7 天 +4
OpenWAMOpenWAM-Official世界动作模型(WAM)的预训练与研究框架,核心功能围绕多模态视频与动作模型的训练、微调与机器人策略评估展开。免费开源 · Apache-2.0GitHub 收藏 945近 7 天 +45
TheWhisperTheStageAI针对流式与端侧推理优化微调的 Whisper 语音识别模型及推理引擎。免费开源 · MITGitHub 收藏 898近 7 天 +1
vMLXjjang-ai面向Apple Silicon的本地AI模型推理服务与桌面工具。免费开源 · Apache-2.0GitHub 收藏 884近 7 天 +13
Surogateinvergent-aiSurogate 是原生 C++/CUDA 大模型训练与推理服务一体化工具包。免费开源 · Apache-2.0GitHub 收藏 848近 7 天 +18
Vonwfzyx开源非自回归决策模型与推理SDK。免费开源 · Apache-2.0GitHub 收藏 839近 7 天 +101
Rizzo FlowRizzo-AI-Academy基于Spark-X2.5大模型本地前向计算实现无需生成token的类型化决策与推理API,属于纯AI模型应用与推理系统。免费开源 · Apache-2.0GitHub 收藏 812近 7 天 +100
SwiftLMSharpAI面向Apple Silicon的原生Swift LLM推理服务及iOS应用。免费开源 · MITGitHub 收藏 777近 7 天 +3
Nano World Modelsimchowitzlabpublic用于训练和评估基于 diffusion-forcing 的视频世界模型与规划算法的开源 AI 研究框架。免费开源 · MITGitHub 收藏 753近 7 天 +4
SolarWMJunchao-csSolarWM 是面向长时程视频世界模型的数据准备、可扩展训练与推理开源框架。免费开源 · Apache-2.0GitHub 收藏 735近 7 天 +15
CrispASRCrispStrobeCrispASR是基于ggml的多语言ASR和TTS端到端语音推理引擎。免费开源 · MITGitHub 收藏 729近 7 天 +25
FluxVLAFluxVLA用于具身智能的端到端 VLA 工程平台,核心功能涵盖 VLA 模型的训练、评估与真机推理部署。免费开源 · Apache-2.0GitHub 收藏 722近 7 天 +5
Pegainferpegainfer-project基于 Rust 与 CUDA 的高性能 LLM 推理与服务引擎,直接运行与服务大语言模型。免费开源 · Apache-2.0GitHub 收藏 716近 7 天 +4
Flow FactoryX-GenGroup用于 Diffusion 与 Flow-Matching 模型的统一在线强化学习与离线微调训练框架。免费开源 · Apache-2.0GitHub 收藏 714近 7 天 +4
C2Cthu-nics实现大语言模型之间直接通过KV-Cache进行语义通信的研究与推理/训练框架。免费开源 · Apache-2.0GitHub 收藏 704近 7 天 +14
AtlasAvarok-Cybersecurity基于Rust和CUDA开发的LLM高性能推理引擎,提供OpenAI/Anthropic兼容API及量化、投机解码等推理核心工作流。免费开源 · AGPL-3.0GitHub 收藏 702近 7 天 +2
Mlx DsparkARahim3核心产品为基于 Apple Silicon (MLX) 的大语言模型投机采样与推理加速引擎。免费开源 · MITGitHub 收藏 696近 7 天 +7
OPSD VMeiGen-AI核心为少步自回归视频扩散模型的在线自蒸馏后训练与推理框架。免费开源 · Apache-2.0GitHub 收藏 689近 7 天 +3
SAM3DBody CppAmmarkoVSAM-3D-Body的纯C++本地推理引擎,实现单目RGB图像/视频中人体3D姿态与网格实时重建与BVH导出。免费开源 · MITGitHub 收藏 681近 7 天 +8