004 Lokale Sprachmodelle: Kostenlos & ohne Cloud

In dieser Folge von Kontext.FM tauchen Kai und Trutz in die Welt der lokalen Sprachmodelle (LLMs) ein. Sie erklären, warum es sich lohnt, KI nicht in der Cloud, sondern auf der eigenen Hardware zu nutzen — von massiven Kosteneinsparungen bei der Textanalyse bis hin zu maximalem Datenschutz für sensible Dokumente. Kai teilt seine praktischen Erfahrungen mit dem Setup auf dem Mac und zeigt auf, dass man kein Entwickler sein muss, um sein eigenes ‘privates ChatGPT’ zu starten.
Die Schwerpunkte dieser Episode:
• Warum lokale Modelle ein Gamechanger für die Souveränität und den Datenschutz im Unternehmen sind.
• Hardware-Check: Was Arbeitsspeicher (RAM) und Speicherbandbreite wichtiger macht als die reine Prozessorleistung.
• Fachbegriffe einfach erklärt: Was bedeuten Parameter-Größen (7B, 27B) und Quantisierung für die Qualität.
• Tool-Empfehlungen: Wie man mit OMLX, Ollama und OpenWebUI in wenigen Minuten startklar ist.
• Praxis-Checks: Wo lokale Modelle glänzen (Coding, Dokumentenanalyse) und wo sie an ihre Grenzen stoßen (Kontextfenster).
• Geopolitik der KI: Warum offene Modelle aus China gerade eine wichtige Rolle für die europäische Unabhängigkeit spielen.
Erwähnte Tools und Ressourcen:
• OMLX (omlx.ai): Einfaches Interface zum Verwalten und Ausführen von Modellen auf dem Mac.
• OpenWebUI (openwebui.com): Eine mächtige, selbstgehostete Weboberfläche für den Chat mit lokalen LLMs.
• Hugging Face (huggingface.co): Die zentrale Plattform zum Entdecken und Herunterladen von Open-Weight-Modellen.
• OpenCode (opencode.ai/de): Ein lokaler Agent für Programmieraufgaben.
• Modelle wie Qwen (Alibaba) und Gemma (Google) als leistungsstarke lokale Alternativen.