AI 软件
买软件、装软件之前先查:要不要花钱、能不能填自己的 Key、开源还是收费、用的人多不多。
收录 3,606 款 · 数据来自 GitHub 和 App Store,每天更新 · 更新时间 2026 年 10 月 5 日
在自己的电脑或服务器上运行、训练模型的工具。
怎么排的:我们整理的常用软件在前,按分类排,同一类里评分人数多的在前;其余按 GitHub 收藏数从多到少。
Qvactetherto跨平台本地端侧 AI SDK 与模型服务。免费开源 · Apache-2.0GitHub 收藏 665近 7 天 +12
Swiftletleonickson1基于Swift和Metal构建的本地MoE大模型流式推理运行框架。免费开源 · Apache-2.0GitHub 收藏 652近 7 天 +2
LoongForgebaidu-baige用于在GPU和昆仑XPU上高效训练LLM、VLM、扩散模型和具身智能模型的基础训练框架。免费开源 · Apache-2.0GitHub 收藏 650近 7 天 +46
Relaxredai-studioRelax是专为多模态大语言模型大规模强化学习后训练设计的异步强化学习引擎。免费开源 · Apache-2.0GitHub 收藏 636近 7 天 +6
Spark-x2.5XHTokenSpark-X2.5 为开源轻量端侧语言模型系列(4B/1.7B),提供完整的模型权重、多框架推理部署与评测能力。免费开源 · Apache-2.0GitHub 收藏 623
DiffusionOPSDworldbench核心为扩散模型在线自蒸馏(On-Policy Self-Distillation)训练与后训练算法实现。免费开源 · Apache-2.0GitHub 收藏 620近 7 天 +67
FlashRTflashrt-projectFlashRT 是专为低延迟小批次 AI(VLA 机器人控制、LLM、VLM、TTS 与视频生成)设计的实时推理引擎。免费开源 · Apache-2.0GitHub 收藏 615近 7 天 +14
BigMoeOnEdgeHelldez在端侧/手机上流式加载并运行超大MoE大语言模型推理(基于llama.cpp)。免费开源 · Apache-2.0GitHub 收藏 607近 7 天 +12
VisionHOPEPSRben计算机视觉基础骨干网络模型 VisionHOPE 的官方 PyTorch 实现。免费开源 · MITGitHub 收藏 587
Mjbatchkevinzakkamjbatch 是专用于在 CPU 上并行运行数千个 MuJoCo 物理仿真的 Python 库,核心支持强化学习 (RL)、MPC 策略训练与机器人控制算法仿真。免费开源 · Apache-2.0GitHub 收藏 583近 7 天 +12
TensorRT Edge LLMNVIDIA英伟达面向边缘平台的C++大语言与视觉多模态模型高性能推理框架。免费开源 · Apache-2.0GitHub 收藏 579近 7 天 +9
Atria Dawn Previewatria-asi上海AI实验室开源的Atria Dawn Preview Agent大模型,核心提供Agent推理与工具调用模型及权重。免费开源 · MITGitHub 收藏 571近 7 天 +8
PooledNehanth基于 WebGPU 和 WebRTC 的浏览器端 P2P 分布式大模型推理引擎与代码智能体。免费开源 · MITGitHub 收藏 567
Kaggle Tpu LabARahim3在免费 Kaggle TPU 上部署并推理开源大模型(如 Qwen3.8-27B、GLM-5.3-Flash),提供兼容 OpenAI/Anthropic 的 API 供 Coding Agent 使用。免费开源 · MITGitHub 收藏 553近 7 天 +12
DeepThinkVLAOpenBMB基于具身思维链和强化学习提升视觉-语言-动作(VLA)模型推理能力的研究与开源模型代码仓库。免费开源 · MITGitHub 收藏 532近 7 天 +1
Sparkrunspark-arenasparkrun专注于在NVIDIA DGX Spark系统上部署、管理和运行vLLM、SGLang、llama.cpp等LLM推理工作负载。免费开源 · Apache-2.0GitHub 收藏 531近 7 天 +7
TensorSharpzhongkaifu原生.NET大模型推理引擎与Agent运行时,能本地GGUF模型推理、多模态生成及Agent执行。免费开源 · BSD-3-ClauseGitHub 收藏 531
Gufogufo-orgGufo 专为 AMD Strix Halo 硬件优化的本地大模型推理引擎,支持 Qwen、DeepSeek 等模型的推理与多模态服务。免费开源 · MITGitHub 收藏 523
ZINCzolotukhinZINC 是基于 Zig 开发的本地大语言模型推理引擎,直接服务于 LLM 本地加载与推理工作流。免费开源 · MITGitHub 收藏 518近 7 天 +3
OlliteRTNightMean将安卓设备变为本地 LLM 推理服务器,提供 OpenAI/Anthropic 兼容接口并直接执行端侧大模型推理。免费开源 · Apache-2.0GitHub 收藏 511