星标数：57635★ Fork数：7625 《private-gpt：本地私有 AI 应用的完整 API 层》
本地运行模型只是第一步。要构建真正有用的AI应用，还需要一组更高层级的构建模块。PrivateGPT 以开源API的形式提供这一层——遵循 Claude API 模式，让你无需从零重新构建相同的后端基础组件，也无需依赖云API，就能构建私有AI产品。
PrivateGPT 不会直接运行模型本身。它通过 OPENAI_API_BASE 连接到任何兼容 OpenAI 的推理服务器（如 Ollama、llama.cpp、vLLM 等）。只要服务实现了 /v1/chat/completions 和 /v1/models，就可以正常工作。
项目内置了一个用于测试和演示的 Workbench UI（位于 /ui 路径），但真正的产品是这套API。此外，PrivateGPT 已经过生产环境验证：它为 Zylon——面向全球企业的本地部署私有AI平台——提供支撑。
主要特点
- 标准 Messages API，支持流式输出、异步处理和 token 计数
- 文件与产物（artifact）导入能力
- 带引用的检索（Retrieval with citations）与 agentic RAG
- 内置工具，对标 Claude API：网页搜索、网页抓取、代码执行
- 自定义工具与 MCP 连接器支持
- 对数据库和 CSV 的结构化访问，以及 Embeddings 与编排能力
快速开始
前提条件：需要一个运行中的兼容 OpenAI 的 LLM 服务器，推荐从 Ollama 开始。
1. 安装 PrivateGPT
# macOS
brew tap zylon-ai/tap
brew install private-gpt
# Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
uv tool install --python 3.11
--find-links https://wheels.privategpt.dev/packages/
"private-gpt[core]"
# Windows (PowerShell)
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
uv tool install --python 3.11 `
--find-links https://wheels.privategpt.dev/packages/ `
"private-gpt[core]"2. 启动 LLM 服务器
# 示例：使用 Ollama
ollama pull qwen3.5:35b # LLM (~24 GB)
ollama pull mxbai-embed-large # Embeddings (~670 MB)
ollama serve3. 运行 PrivateGPT
# macOS / Linux
OPENAI_API_BASE=http://localhost:<llm-port>/v1
OPENAI_EMBEDDING_API_BASE=http://localhost:<embedding-port>/v1
private-gpt serve
# Windows (PowerShell)
$env:OPENAI_API_BASE = "http://localhost:<llm-port>/v1"
$env:OPENAI_EMBEDDING_API_BASE = "http://localhost:<embedding-port>/v1"
private-gpt serve4. 打开 UI
http://localhost:8080/ui📊 本项目 GitHub 星标数：57635。最后更新：2026-11-13，发布：2026-06-18。项目地址：https://github.com/zylon-ai/private-gpt
