What was delivered

• A private chat assistant (Open WebUI) for staff and the IT team, reached over the company network through one HTTPS gateway.
• Ollama serving open chat models, plus an embedding model so documents can be searched by meaning.
• n8n for building AI workflows that plug into internal tools.
• PostgreSQL with pgvector for data and search, and an audit gateway that logs every request to the models.
• Monitoring with Prometheus and Grafana, GPU health included, and admin screens for the containers and the database.
• Everything on one Windows server, with Linux running inside it through WSL and each service in its own Docker container.

Why it matters

It was the first AI that ran entirely on our own hardware. People could try AI on real work without sending anything to an outside service, and this version became the base that later grew into the full private GenAI platform.

Stack

交付了什么

• 给同事和 IT 团队用的私有聊天助手（Open WebUI），通过公司内网和统一的 HTTPS 网关访问。
• Ollama 运行开源对话模型，另配一个向量模型，让文档可以按意思检索。
• 用 n8n 搭建 AI 流程，接入内部工具。
• PostgreSQL 加 pgvector 存放数据和检索索引；审计网关记录每一次对模型的调用。
• Prometheus 和 Grafana 监控运行状况（包括 GPU），并提供容器和数据库的管理界面。
• 全部装在一台 Windows 服务器上：通过 WSL 在里面运行 Linux，每个服务各自一个 Docker 容器。

为什么重要

这是第一个完全跑在我们自己硬件上的 AI。大家可以在真实工作里试用 AI，而不用把任何内容发到外部服务；这一版也成了后来完整私有生成式 AI 平台的基础。

技术栈

交付了什麼

• 給同事和 IT 團隊使用的私有聊天助理（Open WebUI），透過公司內網和統一的 HTTPS 閘道存取。
• Ollama 執行開源對話模型，另配一個向量模型，讓文件可以依語意搜尋。
• 用 n8n 建立 AI 流程，串接內部工具。
• PostgreSQL 加 pgvector 存放資料與搜尋索引；稽核閘道記錄每一次對模型的呼叫。
• Prometheus 和 Grafana 監控運作狀況（包括 GPU），並提供容器與資料庫的管理介面。
• 全部裝在一台 Windows 伺服器上：透過 WSL 在裡面執行 Linux，每個服務各自一個 Docker 容器。

為什麼重要

這是第一個完全跑在我們自己硬體上的 AI。大家可以在真實工作裡試用 AI，而不必把任何內容送到外部服務；這一版也成了後來完整私有生成式 AI 平台的基礎。

技術堆疊