#04 – Ein Sprachmodell in 10 Minuten lokal

Zehn Minuten, ein kostenloses Programm – und ein Sprachmodell läuft auf Ihrem eigenen Rechner. Auch dann, wenn Sie das WLAN ausschalten. In Folge 4 installieren wir gemeinsam Ollama, wählen das passende Modell für Ihren Arbeitsspeicher und testen es mit Aufgaben aus dem Alltag.

Anleitung

• Ollama herunterladen: ollama.com/download (Mac ab macOS 14, Windows 10/11, Linux)

• Installieren – Linux: curl -fsSL ollama.com/install.sh | sh

• Modell starten – in der App auswählen oder im Terminal: ollama run gemma4:12b

• WLAN aus, weiterfragen: Antwortet das Modell, läuft es lokal.

• Aufräumen: ollama list · ollama rm <modell> · ollama ps

Modelle nach Arbeitsspeicher

• 8 GB: qwen3:4b (ollama.com/library/qwen3)

• 16 GB: gemma4:12b (ollama.com/library/gemma4)

• 16–24 GB: gpt-oss:20b (ollama.com/library/gpt-oss)

• ab 32 GB: qwen3.8:27b (ollama.com/library/qwen3.8)

Achtung: Modelle mit „cloud“ im Namen laufen nicht lokal.

Grafiken zur Folge: Die fünf Schritte als Bild (podcasts.julith.gmbh/shownotes/LocalAIHero/S01…) · Modelle nach Arbeitsspeicher (podcasts.julith.gmbh/shownotes/LocalAIHero/S01…)

Kapitel

00:00 Cold Open · 00:40 Begrüßung · 01:20 Was Sie brauchen · 02:40 Schritt für Schritt: Ollama installieren · 05:00 Welches Modell zum Start? · 06:40 Worauf Sie achten sollten · 07:50 Praxis-Tipp: Drei Testaufgaben · 08:50 Ausblick auf #05

Links und Quellen

• Ollama unter Windows: Voraussetzungen (docs.ollama.com/windows)

• Die Ollama-App mit Chat-Fenster und Drag & Drop (ollama.com/blog/new-app)