LLM Bot Crawling: Blocken, zulassen oder strategisch steuern? Mit Juliane Bettinga (SEOsoon) | Ep.251

In dieser SEOPRESSO-Folge spricht Björn mit Juliane Bettinga über eine der wichtigsten neuen Fragen im technischen SEO: Wie gehen wir mit LLM Bots, AI Crawlern und Agenten um?
Blocken oder zulassen ist dabei keine Schwarz-Weiß-Entscheidung. Es geht darum, Bot-Typen sauber zu unterscheiden, Trainingsdaten, Grounding und Agent-Traffic getrennt zu bewerten und daraus eine klare Strategie abzuleiten. Juliane erklärt, warum robots.txt weiterhin eine wichtige Grundlage ist, wo serverseitige Blockierung sinnvoll wird, warum User Agents allein nicht immer reichen und weshalb Server Logs für AI Search Analysen immer wichtiger werden.
Außerdem geht es um Crawl-Spitzen, Performance-Risiken, Cloudflare Bot Detection, Perplexity, OpenAI, Anthropic, Google Extended, Copilot, JavaScript, initiales HTML und die Frage, warum klassische SEO-Basics plötzlich wieder extrem relevant für LLM Sichtbarkeit werden.
Takeaways:
• LLM Bots sollte man nicht pauschal blocken oder zulassen, sondern nach Bot-Typ, Ziel und Content-Bereich bewerten.
• robots.txt bleibt wichtig, reicht aber nicht immer aus. Für echte Kontrolle braucht es oft serverseitige Maßnahmen, Fingerprinting oder Reverse-IP-Lookups.
• Grounding Bots liefern wertvolle Hinweise darauf, welche Inhalte von LLMs für echte Nutzerfragen herangezogen werden.
• Server Logs werden zu einer zentralen Datenquelle für AI Search, weil Prompt-Tracking allein schnell verzerrt sein kann.
• APIs, 404-Seiten, expired Products und unstrukturiertes URL-Inventar können unnötige Bot-Aktivität erzeugen.
• LLM Bot Crawling kann Server-Performance beeinflussen, besonders durch volatile Peaks.
• Inhalte müssen im initialen HTML verfügbar sein. JavaScript, saubere Code-Qualität, Accessibility und sprechende Attribute werden für Bots noch wichtiger.
Kapitelmarken:
00:00 Intro: LLM Bot Crawling auf der CAMPIXX
00:26 Bots blocken oder nicht? Warum es keine einfache Antwort gibt
01:16 Exklusive Inhalte, Verzeichnisse und strategische Freigaben
01:39 robots.txt, serverseitiges Blockieren und Google Extended
02:43 Wie identifiziert man LLM Bots?
03:11 Agenten, Headless Browser und warum Detection schwierig wird
04:20 Katz-und-Maus-Spiel: Fingerprinting, Cloudflare und Gegenmaßnahmen
05:15 Gute vs. schlechte Bots und warum eigene Analyse schwer ist
06:26 Monitoring: Welche Inhalte lösen LLM Requests aus?
07:15 APIs, expired Products und 404-Seiten als Crawl-Fallen
09:25 Wird robots.txt von AI Bots respektiert?
10:37 Cloudflare und serverseitige Kontrolle
11:05 Wenn ChatGPT der zweithäufigste Bot ist
11:52 Training Bots vs. Grounding Bots
12:28 Server Logs als Basis für AI Search Tracking
13:24 LLM User Experience und die Grenzen von Prompt-Tracking
14:34 Gibt es Crawl Budget bei LLM Bots?
15:43 Performance-Probleme durch Bot-Peaks
17:18 Hostings, Default-Blockierung und Pay-per-Crawl
18:34 JavaScript, initiales HTML und Codequalität
19:17 Bing, NoArchive und Copilot
20:00 Fazit: Klassisches technisches SEO wird für AI Search noch wichtiger