分类
本地模型基础设施
本地大模型运行、代码向量化与私有化部署的开发者基础设施。
本分类工具
Ollama简单好用的本地大模型运行器，提供 CLI 与 OpenAI 兼容 API。
LM Studio桌面端应用：发现、运行并对话本地大模型，内置本地服务。
Tabby开源、可自托管的 AI 编程助手 / 代码补全服务器，适合私有化。
vLLM高吞吐开源 LLM 推理引擎，适合私有 GPU 集群。
LocalAI开源的 OpenAI API 替代品，可在本地运行模型。
llama.cpp高效的 C/C++ LLM 推理库与服务，面向本地 GGUF 模型。
Hugging Face TGIHugging Face 的生产级文本生成推理服务，用于私有模型托管。
Jan开源的 ChatGPT 风格桌面应用，可离线运行本地模型。