星标数:57642★ Fork数:7624 《zylon-ai/private-gpt:本地模型生产级 AI 应用 API 层》【热门更新】

PrivateGPT 是一个开源的 API 层,能够把本地模型转化为可用于生产的 AI 应用。仅仅在本地运行模型只是第一步,要构建真正有用的 AI 应用还需要一系列更高级的构建模块,PrivateGPT 正是提供了这样一层开源 API,并以 Claude API 为参照模型设计,让你无需从零重复构建后端基础组件,也不必依赖云端 API,就能开发私有化 AI 产品。

zylon-ai/private-gpt 项目截图

该项目经过生产环境验证:PrivateGPT 为 Zylon 提供支持,Zylon 是面向全球企业的本地部署企业 AI 平台。

PrivateGPT 本身不运行模型,它通过 OPENAI_API_BASE 连接任何 OpenAI 兼容的推理服务器,只要该服务器实现了 /v1/chat/completions 和 /v1/models 即可使用,例如 Ollama、llama.cpp、vLLM 等。项目还内置了一个用于测试和演示的 Workbench UI(位于 /ui),但 API 才是真正的产品。

主要特点

  • 标准 Messages API:支持流式输出、异步处理与 token 计数
  • 文件与产物摄取,以及带引用来源的检索和 agentic RAG
  • 内置工具(对齐 Claude API):网页搜索、网页抓取、代码执行
  • 支持自定义工具与 MCP 连接器
  • 对数据库和 CSV 的结构化访问,以及 embeddings 与编排能力

快速开始

前置条件:需要一个正在运行的 OpenAI 兼容 LLM 服务器,Ollama 是最容易上手的起点。安装方式如下:

macOS:

brew tap zylon-ai/tap
brew install private-gpt

Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

uv tool install --python 3.11 
  --find-links https://wheels.privategpt.dev/packages/ 
  "private-gpt[core]"

Windows(PowerShell):

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

uv tool install --python 3.11 `
  --find-links https://wheels.privategpt.dev/packages/ `
  "private-gpt[core]"

启动 LLM 服务器(以 Ollama 为例):

ollama pull qwen3.5:35b         # LLM (~24 GB)
ollama pull mxbai-embed-large   # Embeddings (~670 MB)
ollama serve

运行 PrivateGPT(macOS / Linux):

OPENAI_API_BASE=http://localhost:/v1 
  OPENAI_EMBEDDING_API_BASE=http://localhost:/v1 
  private-gpt serve

Windows(PowerShell):

$env:OPENAI_API_BASE = "http://localhost:/v1"
$env:OPENAI_EMBEDDING_API_BASE = "http://localhost:/v1"
private-gpt serve

完成后访问 http://localhost:8080/ui 打开 UI,API 位于 http://localhost:8080。

集成生态

  • Claude Code:在终端中使用本地模型作为 agentic 编码的后端
  • Claude Desktop / Cowork:将 Claude 桌面应用连接到你的私有模型
  • Claude for Microsoft 365:在 Word、Excel、Outlook、PowerPoint 中运行私有 AI
  • OpenCode:终端中的本地 AI 编码助手
  • 此外,任何兼容本地 OpenAI 提供商的工具(如 n8n、VS Code、Cline 等)也可配合使用

Claude API 兼容性

PrivateGPT 以 Claude API 作为现代 AI 应用 API 的参考实现,在适合本地开源层的范围内追求完整覆盖,包括模型选择、Messages API、流式输出、异步处理、token 计数、文件摄取、带引用的检索、embeddings、工具调用、内置网页搜索与抓取、自定义工具、数据库查询、CSV 分析、MCP、结构化输出、扩展思考、token 鉴权等。目前不支持 prompt caching 和 OAuth/组织功能,skills 处于基础阶段。

📊 本项目 GitHub 星标数:57642。最后更新:2026-11-18,发布:2026-06-18。项目地址:https://github.com/zylon-ai/private-gpt

100T高转存免费网盘资源精选【持续更中~~~~】:点击查看

0 0 投票
文章评级
订阅
提醒
guest
0 评论
内线反馈
查看所有评论
0
希望你的想法,请评论。x