Dieses Projekt nutzt **Open WebUI** (4 Replicas, load-balanced) als zentrale Oberfläche. Darüber werden die verschiedenen Funktionen der Plattform gebündelt, sodass Chat, Modellzugriffe und unterstützende Dienste in einer gemeinsamen Benutzeroberfläche verfügbar sind. Die Anbindung der KI-Dienste erfolgt über **LiteLLM** (3 Replicas) als LLM-Routing/Gateway und die **API von KI:connect**, die als zentrale Schnittstelle für den Zugriff auf verbundene Modellendpunkte genutzt werden kann.

Für die Textverarbeitung wird in diesem Projekt **OpenAI gpt-oss-120b** als Chat-Modell verwendet. Das Modell gehört zur gpt-oss-Familie von OpenAI, ist open-weight und unter Apache 2.0 lizenziert. Es ist für allgemeine, leistungsstarke Text- und Reasoning-Aufgaben ausgelegt. Da gpt-oss-120b kein Vision-Modell ist, wird bei Bildern im Chat automatisch über einen **Vision Fallback Filter** auf **Mistral Small 3.2 24B Instruct 2506** umgeleitet.

Für die **Inhaltsextraktion (OCR)** von PDFs und Bildern wird ein eigener **Mistral-OCR-Proxy** eingesetzt, der ebenfalls auf **Mistral Small 3.2 24B Instruct 2506** basiert und Vision-basierte Texterkennung durchführt.

Für **Embeddings** wird **Qwen qwen3-embedding-8b** verwendet.

Für die Websuche wird **SearXNG** als Meta-Suchmaschine verwendet. SearXNG bündelt Ergebnisse aus mehreren Suchmaschinen und stellt sie in einer einheitlichen Suche bereit.