#06 - RAG: Firmenwissen nutzen, ohne es rauszugeben

Fragen Sie eine KI nach Ihrer Urlaubsregelung – und sie erfindet eine. Geben Sie ihr Ihr Handbuch – und sie zitiert die richtige Stelle. In Folge 6 erkläre ich RAG, die Technik hinter „KI mit Firmenwissen“: wie sie funktioniert, warum sie lokal betrieben werden sollte und woran Projekte scheitern.

Werkzeuge zum Ausprobieren

• AnythingLLM Desktop (anythingllm.com/desktop) – kostenlose App, läuft komplett lokal

• Open WebUI (docs.openwebui.com/features/chat-conversations…) – Web-Oberfläche für Ollama mit Wissensbereich

• Mehrsprachige Embedding-Modelle in Ollama (ollama.com/search?c=embedding), z. B. bge-m3 oder qwen3-embedding

Praxis-Tipp: zehn unkritische Dokumente, zehn Fragen mit bekannter Antwort – dann wissen Sie, ob es trägt.

Grafik zur Folge: So funktioniert RAG (podcasts.julith.gmbh/shownotes/LocalAIHero/S01…)

Kapitel

00:00 Cold Open · 00:32 Begrüßung · 01:02 Das Problem: Die KI kennt Ihr Unternehmen nicht · 02:40 So funktioniert RAG · 03:28 Warum lokal hier besonders zählt · 04:37 Stolpersteine · 05:26 Praxis-Tipp: Zehn Dokumente, zehn Fragen · 06:08 Ausblick auf #07

Links und Quellen

• AnythingLLM-Doku: LanceDB als lokale Vektordatenbank (docs.anythingllm.com/introduction)