#554 — Open Source statt GPT-4: Matching-Plattform ohne laufende Token-Kosten

#554 — Open Source statt GPT-4: Matching-Plattform ohne laufende Token-Kosten
Spezialisierte Open-Source-Modelle schlagen Frontier-Modelle bei klar definierten Aufgaben — und kosten im Betrieb nichts außer Strom. TJ zeigt am Beispiel einer KI-gestützten Matching-Plattform für Interim-Manager, wie das Prinzip „Topmodell zum Entwickeln, Open Source in Produktion" in der Praxis funktioniert. Warum du für Leasing-Ratenberechnungen kein Claude Sonnet brauchst — und was das für deine nächste KI-Anwendung bedeutet.

Die echte Frage: Wie wichtig sind Topmodelle wirklich? TJ stellt die Frage direkt zu Beginn: Wie wichtig sind die großen, teuren Modelle — GPT-4, Claude, Gemini — überhaupt? Die kurze Antwort lautet: zum Entwickeln sehr wichtig, im Betrieb oft völlig überflüssig. Was nach einer provokanten These klingt, ist für das Koerting Institut längst gelebte Praxis. Das Kernprinzip dreht sich um digitale Souveränität: Wer im Produktivbetrieb auf externe API-Modelle angewiesen ist, zahlt dauerhaft — in Token, in Abhängigkeit, in Datenschutzrisiken. Wer dagegen mit Open-Source-Modellen arbeitet, behält die Kontrolle. Und zahlt nur Strom.

Die Interim-Manager-Matching-Plattform: Live gebaut, lokal betrieben Im KI-Café vor einigen Wochen hat TJ gemeinsam mit Falk Janotta live auf der Bühne eine KI-gestützte Matching-Plattform für Interim-Manager entwickelt — demonstriert in Echtzeit, vor Publikum. Das Besondere: Gebaut wurde die Plattform mit starken US-Modellen, dem, was TJ als „neue Form der Anwendungsentwicklung" bezeichnet — andere nennen es Vibe-Coding oder Vibe-Engineering. Betrieben wird sie aber mit Open-Source-Modellen von Hugging Face, lokal auf Falks Laptop. Das Ergebnis: keine laufenden API-Kosten, keine Token-Gebühren, keine Drittanbieter-Abhängigkeit im Produktivbetrieb. Die Plattform läuft — und kostet Falk außer Strom keinen Cent.

Warum spezialisierte Modelle Frontier-Modelle schlagen Ein konkretes Beispiel macht den Unterschied greifbar: Leasing-Ratenberechnungen. Für solche klar strukturierten Rechenoperationen braucht man kein Claude Sonnet, kein Opus, kein Gemini. Man braucht ein auf Rechenoperationen spezialisiertes Open-Source-Modell — und das führt diese Berechnungen präziser durch als jedes Frontier-Modell. Der Grund liegt in der Spezialisierung: Generelle Modelle sind auf Breite trainiert, spezialisierte auf Tiefe. Für eng definierte Teilaufgaben innerhalb eines Prozesses gewinnt die Tiefe. Das gilt für Finanzberechnungen genauso wie für Matching-Logik — und vermutlich für viele weitere Anwendungsfälle in deinem Unternehmen.

Das Prinzip: Topmodell zum Entwickeln, Open Source in Produktion TJ fasst das Vorgehen in eine klare Formel: Topmodell in der Entwicklung, Open Source in der Produktion. Während du Agenten baust, Logik entwirfst und Architekturen testest, lohnt sich der Einsatz der besten verfügbaren Modelle. Sobald die Anwendung aber in den Produktivbetrieb geht — ins Release, ins Change-Management — wechselst du auf die offenen Modelle, die am Markt frei verfügbar sind. Dieses Prinzip ist keine Theorie. Es funktioniert bereits bei Corporate-Kunden des Koerting Instituts. Und es verändert grundlegend, wie du über KI-Kosten und KI-Architektur nachdenken solltest.

Fazit: Souveränität ist eine Architekturentscheidung Digitale Souveränität entsteht nicht durch eine Grundsatzdebatte — sie entsteht durch konkrete Architekturentscheidungen. Welches Modell sitzt wo in meinem Prozess? Welche Aufgabe erfordert Breite, welche Tiefe? Wo zahle ich Token-Kosten, und wo kann ich sie durch lokale Open-Source-Modelle ersetzen? Die Interim-Manager-Plattform zeigt: Diese Entscheidungen sind heute schon möglich, die Werkzeuge auf Hugging Face sind verfügbar, und das Ergebnis überzeugt auch bei Corporate-Kunden. Der wichtigste Schritt ist, aufzuhören, Frontier-Modelle als Standard vorauszusetzen — und stattdessen pro Teilaufgabe zu denken.

Das nimmst du mit: • Frontier-Modelle wie GPT-4 oder Claude eignen sich zum Entwickeln und Bauen von KI-Anwendungen — im Produktivbetrieb sind spezialisierte Open-Source-Modelle oft präziser und kosten nichts. • Eine lokal betriebene KI-Anwendung mit Open-Source-Modellen verursacht keine laufenden Token-Kosten — du zahlst nur Strom und Hardware. • Für klar definierte Teilaufgaben wie Leasing-Ratenberechnungen oder Matching-Logik übertreffen spezialisierte Open-Source-Modelle die generellen Frontier-Modelle in der Präzision. • Das Prinzip „Topmodell zum Entwickeln, Open Source in Produktion" funktioniert bereits im Einsatz bei Corporate-Kunden des Koerting Instituts. • Digitale Souveränität ist keine strategische Absichtserklärung, sondern eine konkrete Architekturentscheidung — pro Teilaufgabe, pro Prozessschritt.

Kapitel: 00:00 Wie wichtig sind Topmodelle wirklich? 00:22 Die Interim-Manager-Matching-Plattform: Entstehung & Demo 01:04 Open Source auf Hugging Face statt teurer API-Modelle 01:30 Leasing-Ratenberechnung: Spezialisierte Modelle schlagen Frontier 01:59 Das Prinzip: Topmodell zum Entwickeln, Open Source in Produktion

Noch mehr von den Koertings ...
Das KI-Café ... jede Woche Mittwoch (>350 Teilnehmer) von 16:30 bis 18:00 Uhr ... online via Zoom .. kostenlos und nicht umsonst Jede Woche Mittwoch um 16:30 Uhr öffnet das KI-Café seine Online-Pforten ... wir lösen KI-Anwendungsfälle live auf der Bühne ... moderieren Expertenpanel zu speziellen Themen (bspw. KI im Recruiting ... KI in der Qualitätssicherung ... KI im Projektmanagement ... und vieles mehr) ... ordnen die neuen Entwicklungen in der KI-Welt ein und geben einen Ausblick ... und laden Experten ein für spezielle Themen ... und gehen auch mal in die Tiefe und durchdringen bestimmte Bereiche ganz konkret ... alles für dein Weiterkommen. Melde dich kostenfrei an ... www.koerting-institute.com/ki-cafe/
Mit jedem Prompt ein WOW! ... für Selbstständige und Unternehmer Ein klarer Leitfaden für Unternehmer, Selbstständige und Entscheider, die Künstliche Intelligenz nicht nur verstehen, sondern wirksam einsetzen wollen. Dieses Buch zeigt dir, wie du relevante KI-Anwendungsfälle erkennst und die KI als echten Sparringspartner nutzt, um diese Realität werden zu lassen. Praxisnah, mit echten Beispielen und vollständig umsetzungsorientiert. Das Buch ist ein Geschenk, nur Versandkosten von 9,95 € fallen an. Perfekt für Anfänger und Fortgeschrittene, die mit KI ihr Potenzial ausschöpfen möchten. Das Buch in deinen Briefkasten ... koerting-institute.com/shop/buch-mit-jedem-pro…
Die KI-Lounge ... unsere Community für den Einstieg in die KI (>2800 Mitglieder) Die KI-Lounge ist eine Community für alle, die mehr über generative KI erfahren und anwenden möchten. Mitglieder erhalten exklusive monatliche KI-Updates, Experten-Interviews, Vorträge des KI-Speaker-Slams, KI-Café-Aufzeichnungen und einen 3-stündigen ChatGPT-Kurs.
Tausche dich mit über 4.000 KI-Enthusiasten aus, stelle Fragen und starte durch. Initiiert von Torsten & Birgit Koerting, bietet die KI-Lounge Orientierung und Inspiration für den Einstieg in die KI-Revolution. Hier findet der Austausch statt ... www.koerting-institute.com/ki-lounge/
Starte mit uns in die 1:1 Zusammenarbeit Wenn du direkt mit uns arbeiten und KI in deinem Business integrieren möchtest, buche dir einen Termin für ein persönliches Gespräch. Gemeinsam finden wir Antworten auf deine Fragen und finden heraus, wie wir dich unterstützen können. Klicke hier, um einen Termin zu buchen und deine Fragen zu klären. Buche dir jetzt deinen Termin mit uns ... www.koerting-institute.com/termin/
Weitere Impulse im Netflix Stil ... Wenn du auf der Suche nach weiteren spannenden Impulsen für deine Selbstständigkeit bist, dann gehe jetzt auf unsere Impulseseite und lass die zahlreichen spannenden Impulse auf dich wirken. Inspiration pur ... www.koerting-institute.com/impulse/
Die Koertings auf die Ohren ... Wenn dir diese Podcastfolge gefallen hat, dann höre dir jetzt noch
weitere informative und spannende Folgen an ... über …