What it is

A self-hosted generative AI platform for a company that cannot send its data to public AI services. Everything runs on the company's own GPU server: the models, the gateway, the vector store and the monitoring.

Teams and applications use one endpoint and one key, exactly as they would with a public API, so tools built for cloud AI work unchanged against the private platform.

What it does

• Serves open models for chat, document vision and OCR, and text embeddings, all behind a single OpenAI-compatible API.
• Keeps the models that must answer instantly resident in GPU memory, and loads larger models on demand, swapping them in and out automatically.
• Provides retrieval-augmented generation (RAG) over company documents with a vector database.
• Gates every browser-facing console behind the company's single sign-on, while programmatic clients use keys with per-team budgets and rate limits.
• Monitors the host, GPUs, containers, database and model servers, with alerts by email.

How it works

1. A request arrives over TLS at the reverse proxy and is passed to the gateway.
2. The gateway chooses the model backend by name, so clients never need to know where a model runs.
3. Always-on models answer directly; an on-demand request starts the larger model and frees the GPU memory it needs.
4. RAG queries embed the question, search the vector store and hand the matching passages to the chat model.
5. Every component is a container with a defined boot order, so the whole stack can be rebuilt from its runbook.

Design choices

• One API for everything: decoupling clients from models made every later model change invisible to users.
• Always-on versus on-demand: a small set of models stays hot; everything else shares the remaining memory.
• Security at the edge: single sign-on is enforced by the proxy, not re-implemented in each tool.
• Documented for handover: build guide, component guide, operations and recovery runbooks, so the platform does not depend on one person.

Stack

这是什么

一个自建的生成式 AI 平台，为不能把数据交给公共 AI 服务的公司而设。模型、网关、向量库和监控全部运行在公司自己的 GPU 服务器上。

各团队和应用只用一个接口地址、一把密钥，和使用公共 API 完全一样，所以为云端 AI 开发的工具无需改动就能接到私有平台上。

它能做什么

• 提供聊天、文档视觉与 OCR、文本向量化的开源模型，全部统一在一个兼容 OpenAI 的 API 之后。
• 必须即时响应的模型常驻显存；更大的模型按需加载，自动换入换出。
• 基于向量数据库，对公司文档做检索增强生成（RAG）。
• 所有面向浏览器的控制台都放在公司单点登录之后；程序调用则使用密钥，按团队设定预算和速率限制。
• 监控主机、GPU、容器、数据库和模型服务，异常时邮件告警。

如何运作

1. 请求经 TLS 到达反向代理，再转给网关。
2. 网关按模型名称选择后端，调用方不需要知道模型跑在哪里。
3. 常驻模型直接应答；按需请求会启动大模型，并释放它需要的显存。
4. RAG 查询先把问题向量化，在向量库中检索，再把匹配的段落交给聊天模型。
5. 每个组件都是容器，有明确的启动顺序，整套系统可以按运行手册从头重建。

设计取舍

• 一个 API 管所有：调用方与模型解耦之后，后续每次换模型用户都无感。
• 常驻与按需分开：少数模型始终在线，其余共享剩余显存。
• 安全放在边界：单点登录由代理统一执行，不在每个工具里重复实现。
• 为交接而写的文档：构建指南、组件手册、运维与恢复手册，平台不依赖某一个人。

技术栈

這是什麼

一個自建的生成式 AI 平台，為不能把資料交給公開 AI 服務的公司而設。模型、閘道、向量資料庫和監控全部運行在公司自己的 GPU 伺服器上。

各團隊與應用程式只用一個端點、一把金鑰，和使用公開 API 完全一樣，所以為雲端 AI 開發的工具不用改動就能接上私有平台。

它能做什麼

• 提供聊天、文件視覺與 OCR、文字向量化的開源模型，全部統一在一個相容 OpenAI 的 API 之後。
• 必須即時回應的模型常駐顯示記憶體；更大的模型依需求載入，自動換入換出。
• 以向量資料庫對公司文件做檢索增強生成（RAG）。
• 所有面向瀏覽器的主控台都放在公司單一登入之後；程式呼叫則使用金鑰，依團隊設定預算與速率限制。
• 監控主機、GPU、容器、資料庫與模型服務，異常時以電郵告警。

如何運作

1. 請求經 TLS 到達反向代理，再轉給閘道。
2. 閘道依模型名稱選擇後端，呼叫方不需要知道模型跑在哪裡。
3. 常駐模型直接回應；依需求的請求會啟動大模型，並釋放它需要的顯示記憶體。
4. RAG 查詢先把問題向量化，在向量資料庫中檢索，再把相符的段落交給聊天模型。
5. 每個元件都是容器，有明確的啟動順序，整套系統可以依照運行手冊從頭重建。

設計取捨

• 一個 API 管所有：呼叫方與模型解耦之後，之後每次換模型使用者都無感。
• 常駐與依需求分開：少數模型始終在線，其餘共享剩餘記憶體。
• 安全放在邊界：單一登入由代理統一執行，不在每個工具裡重複實作。
• 為交接而寫的文件：建置指南、元件手冊、維運與復原手冊，平台不依賴某一個人。

技術堆疊