Automatisieren bis zum Kontrollverlust? Warum AI menschliche Kontrolle braucht mit Kai Spriestersbach | Ep. 259

Nur weil sich ein Prozess mit KI automatisieren lässt, heißt das noch lange nicht, dass wir ihn automatisieren sollten.
AI Agents, Claude Code, Codex, MCPs und Skills versprechen enorme Effizienzgewinne. Doch was passiert, wenn wir diesen Systemen zu viel Autonomie geben und irgendwann niemand mehr genau hinschaut?
In dieser Live-Episode spricht Björn Darko mit Kai Spriestersbach, Head of AI bei ReachX, über die Risiken agentischer Systeme. Sie diskutieren, weshalb überzeugend klingender AI-Output besonders gefährlich sein kann, wie sich kleine Fehler entlang komplexer Prozessketten multiplizieren und warum technische Kontrollmechanismen das Risiko zwar reduzieren, aber niemals vollständig eliminieren.
Kai erklärt, warum Unternehmen zwischen deterministischer Automatisierung und echter Autonomie unterscheiden müssen. Er zeigt, wie Skills, Skripte, Input- und Output-Gates sowie menschliche Freigaben eingesetzt werden können, um AI-Workflows stabiler und verlässlicher zu gestalten.
Außerdem geht es um die Verantwortung von Agenturen, neue Pricing-Modelle, den möglichen Wegfall klassischer Junior-Aufgaben und die Frage, ob vollständig autonome Unternehmen überhaupt funktionieren können.
TAKEAWAYS
• AI sollte nur Aufgaben übernehmen, die der verantwortliche Mensch auch ohne AI fachlich beurteilen könnte.
• Deterministische Automatisierung ist nachvollziehbar – agentische Systeme bleiben variabel und schwer kontrollierbar.
• Je länger eine Entscheidungskette, desto größer das Risiko, dass sich kleine Fehler fortpflanzen.
• Skills, MCPs und mehrere prüfende Modelle senken das Risiko, beseitigen es aber nicht.
• Je komplexer der Output, desto aufwendiger ist seine fachliche Verifikation.
• Im Agenturgeschäft sollte kein AI-generierter Inhalt ungeprüft das Unternehmen verlassen.
• AI schafft den größten Wert nicht durch mehr Output, sondern durch Leistungen, die vorher nicht möglich waren.
• Für Agenturen sind ergebnisbasierte Modelle oft sinnvoller als reine Stundenabrechnung.
• Der Mensch sollte Ziele, Qualitätsmaßstäbe und kritische Entscheidungen bestimmen – AI bleibt das Werkzeug.

KAPITELMARKEN
00:00 Intro: Wer kontrolliert die AI Agents?
03:09 Kais Kritik an hochautomatisierten Agenturen
07:15 Werden Effizienzgewinne überschätzt?
10:09 Nur weil es automatisierbar ist, ist es nicht automatisch gut
13:15 Automatisierung vs. agentische Systeme
15:20 Wie sich AI-Fehler fortpflanzen
17:18 Das Kontrollparadox und Automation Bias
18:39 Warum Fachwissen weiterhin unverzichtbar bleibt
22:40 Was passiert mit Juniors und Nachwuchskräften?
25:30 Automatisierung oder Autonomie?
27:03 Kais zwei Grundregeln für den AI-Einsatz
28:18 Von der Exploration zum stabilen Workflow
29:24 Skills, Skripte sowie Input- und Output-Gates
31:16 Warum sich AI nicht vollständig selbst kontrollieren kann
32:55 So sieht ein verantwortungsvolles Setup aus
33:45 Wo der Mensch zwingend im Loop bleiben muss
36:24 AI als Werkzeug für Expertinnen und Experten
38:30 Effizienzgewinn oder akzeptiertes Fehlerrisiko?
40:14 Darf AI selbstständig Code veröffentlichen?
42:22 Verantwortung und Transparenz in Agenturen
44:25 Wie verändert AI das Pricing von Agenturen?
48:11 Spezialisierung als Wettbewerbsvorteil
50:04 Sind vollständig autonome Unternehmen realistisch?
52:56 Wann Kai AI in der Praxis einsetzt
54:09 Warum Agents kein eigenes Bewusstsein brauchen, um gefährlich zu werden
55:39 Verifikation, Monitoring und Modellwechsel
57:32 Praktische Automatisierung im Podcast-Alltag
58:14 Fazit und Verabschiedung