local-model-infra
最佳 vLLM 替代品
vLLM 是高性能推理引擎，适合在私有 GPU 基础设施上服务大模型（含代码模型）。
热门替代
与同品类最接近的选项并排对比，快速判断取舍。
- 开始对比
Ollama
简单好用的本地大模型运行器，提供 CLI 与 OpenAI 兼容 API。
- 开始对比
LM Studio
桌面端应用：发现、运行并对话本地大模型，内置本地服务。
- 开始对比
Tabby
开源、可自托管的 AI 编程助手 / 代码补全服务器，适合私有化。
- 开始对比
LocalAI
开源的 OpenAI API 替代品，可在本地运行模型。
- 开始对比
llama.cpp
高效的 C/C++ LLM 推理库与服务，面向本地 GGUF 模型。
- 开始对比
Hugging Face TGI
Hugging Face 的生产级文本生成推理服务，用于私有模型托管。
- 开始对比
Jan
开源的 ChatGPT 风格桌面应用，可离线运行本地模型。
免责声明:非金融或投资建议，仅供开发者工具对比与教育用途。信息可能变更，购买前请以厂商官网为准。