#98: Risiken bei der Softwareentwicklung mit AI Agents

Sebastian und Liel setzen die Folge #91 zur Zukunft der Softwareentwicklung fort und widmen sich diesmal den Risiken beim Einsatz von AI Agents. Sie ordnen ein, welche Gefahren beim lokalen Arbeiten mit Agents tatsächlich bestehen – von autonom ausgeführten Befehlen mit Datenverlust über Prompt Injection bis zur Weitergabe sensibler Daten an externe Modelle. Im zweiten Teil geht es um konkrete Strategien zur Risikominimierung: durchdachte Berechtigungen, Repository-scoped Tokens, isolierte Workspaces mit Dev-Containern oder Mini-VMs sowie eine bewusste Auswahl der eingesetzten Modelle. Zum Abschluss diskutieren die beiden, wohin sich die Arbeit mit Coding-Agents entwickelt und welche Rolle Reviews und Wartbarkeit dabei spielen. Ein "sicher" gibt es dabei nicht, wohl aber ein "sicherer".

**Zusammenfassung**

• AI Agents führen im YOLO-Mode Code direkt auf dem eigenen System aus – Datenverlust durch unbedachte Befehle ist ein reales Risiko.

• Prompt Injection kommt über README-Anweisungen, MCP-Server und Webfetch ins System; halluzinierte Library-Namen lassen sich durch Squatting für Schadcode ausnutzen.

• Die "lethal trifecta" beschreibt die kritische Kombination aus Zugriff auf private Daten, Verarbeitung nicht vertrauenswürdiger Inhalte und Möglichkeit zur Kommunikation nach außen.

• Kompromittierung betrifft Credentials, proprietären Code und personenbezogene Daten – jede Query an ein extern gehostetes Modell verlässt das eigene System.

• Default-Konfigurationen (OpenCode, VSCode + GitHub Copilot) sind ein häufiger Stolperstein, da Daten oft standardmäßig zum Training genutzt werden.

• Zur Absicherung helfen fein eingestellte Berechtigungen, Repository-scoped Tokens, Provisionierung im Unternehmen und isolierte Workspaces (Dev-Container, VibePod, nono).

• Bei der Modellauswahl lohnt der Blick auf Selfhosting sowie europäische bzw. offene Alternativen wie Mistral und das Schweizer Apertus.

• Traceability, Live- und Kostenmonitoring werden wichtiger, da Agents Tokenverbrauch und Aktionen kaum noch kontrollierbar machen.

**Links**

• #91: Software ohne Entwickler*innen? Wie AI Agents unsere Arbeit neu definieren podbean.com/ew/pb-2if5e-1a90f94

• The lethal trifecta for AI agents: private data, untrusted content, and external communication (Simon Willison): simonwillison.net/2025/Jun/16/the-lethal-trife…

• The Vulnerable MCP Project (Übersicht zu MCP-Schwachstellen): vulnerablemcp.info/index.html

• Cory Doctorows Blog (Quelle zum Halluzinations-Beispiel): pluralistic.net

• VibePod CLI - The zero-config CLI for running AI coding agents locally vibepod.dev

• nono - Run AI agents in a zero-latency sandbox in seconds, with zero setup. nono.sh

• Docker Sandboxes docs.docker.com/ai/sandboxes

• Agentlytics agentlytics.io

• Apertus, das offene Schweizer Sprachmodell (Hugging Face): huggingface.co/collections/swiss-ai/apertus-llm

• Mistral (europäischer Modellanbieter): mistral.ai

📬 Fragen, Feedback oder Themenwünsche?

Schreibt uns gern an: podcast@inwt-statistics.de