星标数:57642★ Fork数:7624 《zylon-ai/private-gpt:本地模型生产级 AI 应用 API 层》【热门更新】
PrivateGPT 是一个开源的 API 层,能够把本地模型转化为可用于生产的 AI 应用。仅仅在本地运行模型只是第一步,要构建真正有用的 AI 应用还需要一系列更高级的构建模块,PrivateGPT 正是提供了这样一层开源 API,并以 Claude API 为参照模型设计,让你无需从零重复构建后端基础组件,也不必依赖云端 API,就能开发私有化 AI 产品。

该项目经过生产环境验证:PrivateGPT 为 Zylon 提供支持,Zylon 是面向全球企业的本地部署企业 AI 平台。
PrivateGPT 本身不运行模型,它通过 OPENAI_API_BASE 连接任何 OpenAI 兼容的推理服务器,只要该服务器实现了 /v1/chat/completions 和 /v1/models 即可使用,例如 Ollama、llama.cpp、vLLM 等。项目还内置了一个用于测试和演示的 Workbench UI(位于 /ui),但 API 才是真正的产品。
主要特点
- 标准 Messages API:支持流式输出、异步处理与 token 计数
- 文件与产物摄取,以及带引用来源的检索和 agentic RAG
- 内置工具(对齐 Claude API):网页搜索、网页抓取、代码执行
- 支持自定义工具与 MCP 连接器
- 对数据库和 CSV 的结构化访问,以及 embeddings 与编排能力
快速开始
前置条件:需要一个正在运行的 OpenAI 兼容 LLM 服务器,Ollama 是最容易上手的起点。安装方式如下:
macOS:
brew tap zylon-ai/tap
brew install private-gpt
Linux:
curl -LsSf https://astral.sh/uv/install.sh | sh
uv tool install --python 3.11
--find-links https://wheels.privategpt.dev/packages/
"private-gpt[core]"
Windows(PowerShell):
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
uv tool install --python 3.11 `
--find-links https://wheels.privategpt.dev/packages/ `
"private-gpt[core]"
启动 LLM 服务器(以 Ollama 为例):
ollama pull qwen3.5:35b # LLM (~24 GB)
ollama pull mxbai-embed-large # Embeddings (~670 MB)
ollama serve
运行 PrivateGPT(macOS / Linux):
OPENAI_API_BASE=http://localhost:/v1
OPENAI_EMBEDDING_API_BASE=http://localhost:/v1
private-gpt serve
Windows(PowerShell):
$env:OPENAI_API_BASE = "http://localhost:/v1"
$env:OPENAI_EMBEDDING_API_BASE = "http://localhost:/v1"
private-gpt serve
完成后访问 http://localhost:8080/ui 打开 UI,API 位于 http://localhost:8080。
集成生态
- Claude Code:在终端中使用本地模型作为 agentic 编码的后端
- Claude Desktop / Cowork:将 Claude 桌面应用连接到你的私有模型
- Claude for Microsoft 365:在 Word、Excel、Outlook、PowerPoint 中运行私有 AI
- OpenCode:终端中的本地 AI 编码助手
- 此外,任何兼容本地 OpenAI 提供商的工具(如 n8n、VS Code、Cline 等)也可配合使用
Claude API 兼容性
PrivateGPT 以 Claude API 作为现代 AI 应用 API 的参考实现,在适合本地开源层的范围内追求完整覆盖,包括模型选择、Messages API、流式输出、异步处理、token 计数、文件摄取、带引用的检索、embeddings、工具调用、内置网页搜索与抓取、自定义工具、数据库查询、CSV 分析、MCP、结构化输出、扩展思考、token 鉴权等。目前不支持 prompt caching 和 OAuth/组织功能,skills 处于基础阶段。
📊 本项目 GitHub 星标数:57642。最后更新:2026-11-18,发布:2026-06-18。项目地址:https://github.com/zylon-ai/private-gpt
