Datenschutzbewusstes lokales RAG
Ein lokales Knowledge-Retrieval-System für sensible interne Dokumente ohne Cloud-Exposition gebaut.
Context
Eine boutique-hafte Beratungsfirma benötigte eine Möglichkeit, ihr umfangreiches Archiv vergangener Projektvorschläge und strategischer Memos zu durchsuchen. Strenge NDAs und interne Compliance bedeuteten jedoch, dass sie Dokumente auf keinen Fall zu OpenAI, Anthropic oder einem Public-Cloud-Provider hochladen durften. Sie benötigten einen On-Premise-"KI-Assistenten", der über ihre sicheren Daten argumentieren konnte.
Approach
Ich architektierte eine lokale RAG-Pipeline (Retrieval-Augmented Generation), die vollständig auf ihrer internen Hardware lief. Mit Ollama für lokales LLM-Inference und einer schnellen Edge-Vector-Datenbank verarbeitet die Pipeline Markdown-Versionen ihrer PDFs. Ich strukturierte ein cleanes, minimales UI, das Partnern erlaubte, mit ihren Daten zu konversieren und spezifische vergangene Vorschläge zu zitieren — ohne API-Calls, die das lokale Netzwerk verließen.
Impact
Lieferte akkurate, kontextbewusste Retrieval über Hunderte von Dokumenten. 100% DSGVO-Compliance gewahrt. Die Firma hat nun eine Intellectual-Property-Compounding-Engine, die Datengrenzen respektiert.