Lästige KI-Crawler ignorieren große Nein-Schilder

0:00 Hallo und herzlich willkommen zum Chaos Radio 303 und wir beschäftigen uns heute mit KI, aber mit einem Nischenthema für die meisten in Anführungszeichen normalen Menschen, würde ich sagen. Also mit dem man im Alltag, wenn man nicht in einem bestimmten Bereich arbeitet, wahrscheinlich wenig in Berührung bekommt.

0:22 Und Chaos Radio ist ja oft nicht tagesaktuell, sondern wir greifen so Themen auf, wo man denkt, die könnte man mal erklären oder irgendwas ist explodiert und dann denken wir vier Wochen später, das könnte man ja mal erklären. Ich habe ungelogen bei diesem Chaos Radio zum Zeitpunkt der Aufnahme, also eine Stunde bevor wir die Aufnahme machen, einen Mastodontuit gesehen, den möchte ich kurz zitieren.

0:44 Der Aufwand, den jede einzelne Person, die ihr Zeug nicht gescrapt haben will, nun betreiben muss, um AI-Crawler zu blocken. Es ist wirklich unfassbar, dass dafür niemand zur Rechenschaft gezogen wird, schreibt Weird Mustard. Jetzt musst du aber einiges erklären. Jetzt müssen wir einiges erklären. Wir wollen heute über KI-Crawler reden und ich begrüße recht herzlich erstmal Conz. Guten Tag.

1:07 Hallo, guten Tag. Wie immer beim Chaos Radio dabei. Und dann ist schon die Frage, was sind KI-Crawler, warum ist das ein Problem? Und ich mache es einmal ganz kurz. KI basiert auf Daten. Die Daten müssen irgendwie herkommen. Und dann wird das zum Beispiel gemacht, indem man einfach als große Firma, ich glaube es war Meta, illegal irgendwo Bücher runterlädt und die dann da reinmacht.

1:31 Oder man durchsucht das Web. Und das macht man automatisiert. Man crawlt es und dann geht es um Crawlout. Was das alles bedeutet, das lassen wir uns genauer erklären. Heute nehme ich von Lea und Jonas. Hallo und guten Tag. Hi. Ihr seid beide von Uberspace, das, und ich lese jetzt die sozusagen von euch mitgegebene Kurzbiofond, formal ein Einzelunternehmen ist, sich aber in der Realität eher wie ein überdurchschnittlich gut organisiertes Kollektiv mit weniger Plenum und viel Eigenverantwortung verhält.

2:02 Gestatten Sie mir dazu eine kurze Frage, hä? Ja. Also Uberspace, muss man erstmal sagen, ist ein Hoster. Genau. Wir sind ein Web-Hosting-Unternehmen und ich habe das gegründet, also ich bin der Inhaber. Und für die Formulierung muss ich meinem Kollegen Luthur danken, der die so schön auf den Punkt gebracht hat, weil es bei uns nicht nur darum geht, wie wir die Technik so realisieren wollen.

2:26 Ich meine, Hoster gibt es wie Sand am Meer und ich glaube, wir sind aus vielerlei Gründen auch rein technisch ein bisschen cooler. Uns unterscheidet aber vor allem, dass wir auch als Unternehmen ein bisschen anders agieren. Also wir haben ein Produkt, bei dem die Leute sich den Preis selber auswählen.

2:44 Wir haben teamintern unsere Gehälter offengelegt und wählen auch unsere Gehälter selbst. Wir wählen unsere Arbeitszeiten und unseren Arbeitsumfang selbst. Das ist halt das, was mit dem kollektiven Charakter gemeint ist. Also wir kommen hier schon zusammen und treffen eigentlich alle wesentlichen Entscheidungen. gemeinsam unter einer sehr stark freiheitlich geprägten Prämisse.

3:09 Und trotzdem ist es formal eben so, ich bin derjenige, der als Unternehmer gilt, die anderen sind angestellt bei mir und ich gebe mir aber große Mühe, dass man das im Arbeitsalltag eigentlich nicht so merkt. Es muss halt jemanden geben, der für die Verantwortung den Kopf hinhält und der irgendwie die Finanzen zusammenhält und das bin dann eben ich.

3:28 Aber den ganzen Rest machen wir gemeinsam. Okay, das heißt, aber sozusagen für die, die gar nicht tief drin sind, also dieser Toaster heißt, ihr stellt Infrastruktur zur Verfügung, also wenn Menschen etwas im Internet machen wollen und nicht einen Rechner in ihren eigenen DSL-Anschluss, wirklich ganz basic formuliert, stellen wollen, dann können sie Dinge bieten und da gibt es halt so große und eben solche Firmen wie euch.

3:50 Lea kennt man aus dem Chaos-Radio-Kontext vielleicht schon aus einer alten Folge, weil sie nicht nur eben bei Uberspace auch Leiterin des Infrastrukturbereichs ist, was ein schöner Titel ist, sondern auch mit Rixx zusammen, Administratorin der Masterlohn-Instanz "chaos.social". So, und bevor wir damit anfangen, ich gebe immer gerne alle Verantwortung für die Erklärung von Fachdingen ab, bevor wir damit anfangen, warum man als Web-Hoster, sich mit KI-Crawlern beschäftigt, ich habe es da schon ganz kurz angedeutet, könnt ihr mal ganz kurz sagen, was sind Crawler und was sind KI-Crawler und warum gibt es die und was machen die?

4:32 Crawler sind im Prinzip klein oder groß, je nachdem nach Aufwand. Es ist ein Programm, das sich sozusagen anhand von Links, ganz einfach mal gesagt, durch das Web durchhangelt und dabei die Daten in der Datenbank speichert, damit die dann später zum Beispiel für eine Suche oder auch eine KI ausgewertet werden können.

4:53 KI-Crawler sind dann das Gleiche eben für KI. Die sammeln eben die Daten im Netz ein, also Nachrichten, Inhalte, Bilder, die man gepostet hat, alles Mögliche, was sie in die Finger kriegen und das wird dann benutzt, um später damit sozusagen die KI, das Modell zu trainieren, auf deren Basis dann die Ausgaben von generativer KI zumindest wieder erscheinen.

5:17 Ich würde jetzt gerne zu Crawlern selber noch ein bisschen was fragen. Kennt ihr euch darin auch aus, wie die funktionieren? Oder nur sozusagen um die Effekte, die die hinterlassen? Mehr theoretisch als praktisch. Ich will mal eine Anführungsfrage noch stellen, weil du gerade gesagt hast, die gehen sozusagen, die hangeln sich links lang.

5:36 Also klingt sozusagen wie jemand fängt auf einer Webseite an und klickt dann alle Links, die er findet und hofft dann irgendwann das ganze Netz durchsurf zu haben, aber das ja eben automatisiert. Weißt du, wie das läuft? Also wie so Crawler anfangen? Haben die dann so einen Grundstock an Webseiten? Keine Ahnung. Man fängt in der Wikipedia an und macht dann alles durch oder wie das abläuft?

5:56 Also genauer wissen wir das nicht. Wir machen ja jetzt selbst keine Suchmaschinen oder sowas. Aber das ist ein bisschen schwer zu sagen, weil ich sag mal so, irgendwann Anfang der 2000er oder so, als die ersten größeren Suchmaschinen aufgetaucht sind, da wird das im Zweifel so gewesen sein, dass sie sich nach und nach durchgehangelt haben.

6:15 Aber inzwischen hat zum Beispiel ein Google oder ein Microsoft oder sonstige einfach sehr große Datenbanken schon mit ganz, ganz vielen Seiten und die scannen sie dann eben und dann gucken sie eben von da aus wieder, wohin geht es weiter. Eine Seite, die nie verlinkt ist, ist tatsächlich relativ schwer zu finden.

6:34 Ich würde da gerne noch ergänzen. Zum einen ist es ja bis heute auch möglich, dass man gerade ganz neue Internetseiten, die noch nirgendwo verlinkt sind, bei Google explizit anmelden kann. Sozusagen mit der Bitte kommt vorbei und crawlt mich. Und Websites können auch eine XML-Datei, die Sitemap XML bereitstellen, mit der sie einer Suchmaschine sogar einen Hinweis geben können, was alles so für interessante Crawlens, Werte, URLs bei ihnen zu finden sind.

7:04 Suchmaschinen sind aber halt nur ein möglicher Anwendungszweck für Crawler. Es gibt natürlich auch ganz andere, die spezialisiert sind, zum Beispiel so Preiscrawler. Ich meine, wer Websites kennt wie Guideshals oder so, die machen im Grunde auch nichts anderes, als bei anderen Unternehmen nach Informationen zu crawlen, sie also regelmäßig abzurufen.

7:25 Nur da, wo beide Seiten das gleichermaßen wünschen, entstehen dann oftmals eher richtig definierte Schnittstellen und es ist dann nicht mehr so völlig random, so wir hangeln uns irgendwo lang und gucken mal, was wir zufällig finden. Das ist bei den KI-Crawlern jetzt wiederum aber eigentlich das größte Ärgernis, was die gerade so tun.

7:44 Aber das heißt sozusagen, für Crawler gibt es eigentlich nur ein Anwendungsgebiet, nämlich das Web-Indexieren. Und das macht man vor allen Dingen aus zwei Gründen. Entweder für Suchergebnisse, also entweder sozusagen für Websuchung oder sozusagen für spezialisierte Suchung, wie zum Beispiel Preissuchmaschinen.

8:01 Oder eben um eine möglichst komplette Datenbank von Webinhalten zu haben, um dann damit drauf KI-Training zu machen. Oder irgendwas anderes. Also zum Beispiel gibt es ja auch, was ein guter Fall davon wäre, dass Archive.org, die das Web auch crawlen und die Websites speichern, um sie eben für die Nachwelt zu erhalten.

8:22 Weil manchmal verschwinden ja Websites auch einfach. Ja, und es gibt auch natürlich wissenschaftliche Crawler. Also Crawler sind jetzt nicht an sich irgendwie böse. Das ist dann nur ein Vergleich einfach der Menge. Also vernachlässigenswert. Es gibt eben auch Regeln sozusagen, wie man das gut machen kann.

8:40 Dann gibt es so das eine, die kann man auf seine Website legen, wie die Robots.txt und sagen, okay, das hier darfst du scannen, das darfst du nicht scannen. Und sagt Gute, listen dann zum Beispiel auch ihre IP-Adressen auf, von denen sie das machen, erklären, wer sie sind, haben eine URL drin in ihrem User-Agent, also sozusagen der String, mit dem sie sich identifizieren, wer da gerade zugreift.

9:04 Und das kann man gut machen oder man kann es eben auch schlecht machen. Ich will noch eines kurz sagen zu Archive.org. Da gibt es sogar die Wayback-Maschinen, wo man sozusagen wie Zeitreisen durchs Internet kann. Und die Inhalte, die da sind, werden also auch mithilfe dieser Crawler, habe ich jetzt gerade gelernt, erstellt.

9:19 Und das, was du gesagt hast, also Robots.txt ist eine kleine Textdatei, die man auf seinen Web-Server packen kann. Und wenn es richtig läuft, kommt also, wenn ich es richtig verstanden habe, ein Crawler an und sagt, Hallo, ich bin ein Crawler, der dann sozusagen auch einen Namen hat, den man vielleicht irgendwie bei sich dann auch schon reinschreiben kann.

9:36 Und in dieser Texte, da kann man im übertragenen Sinne reinschreiben, nein, bitte nicht. Oder ja, bitte hier lang. Genau so ist es. Okay, und dann zu den, also bei der Wayback-Maschine zum Beispiel kenne ich, da kann man so einen Kalender aufrufen, so über Jahre gehen und dann sind da verschiedene Daten und da denke ich jetzt, okay, dann wird wahrscheinlich das auch sozusagen der Zeitpunkt sein, wann das gecrawled worden ist.

9:59 Und das ist dann manchmal, an einem Tag gibt es mehrere sogenannte Snapshots, manchmal passiert monatelang nichts. Konz schüttelt den Kopf. Das ist letztlich ein Diff, also da wird der nur offiziell, wenn es eine Veränderung gegeben hat. Das ist ein Diff. Du meinst sozusagen, in der Wayback-Maschine sind nur die Daten aufgezeichnet, wo sich die Webseite verändert hat?

10:19 Okay, das ist für mich jetzt überraschend, weil ich oft schon rumgesurft bin und dann ist es oft alles sehr gleich. Aber das ist ein Detail, was wir an einer anderen Stelle besprechen können. Wir wollen heute nicht über das Archiv sprechen. So, KI-Crawler, also ist ja die Frage, wann sammeln KI-Inhalte?

10:35 Und das machen sie... Also es gibt ja das eine, zu sagen, eine KI, ohne dass ich es genau erklärt soll, eine KI muss trainiert werden. Das heißt, man braucht irgendwann einen relativ großen Datensatz, wo man die Software draufwirft. Wenn ich es aber richtig verstehe, ist es doch so, KI brauchen quasi an zwei Stellen Daten.

10:53 Nämlich das eine ist für dieses Grundlagentraining und das andere ist, viele KI-Chatbots kann man ja quasi als so eine Art Suchmaschine verwenden. Das heißt, wie eine richtige Suchmaschine, crawlen die nicht nur einmal, sondern eigentlich immer wieder? Ist das richtig? Genau. Also zum einen, wir müssen jetzt erstmal ganz kurz einen Begriff vielleicht klarstellen am Anfang, nämlich KI ist nicht unbedingt gleich KI.

11:20 Wir reden jetzt, glaube ich, hier primär über die generative KI. Es gibt zum Beispiel auch noch KI im Gesundheitswesen, das dann nur auf ganz speziellen Daten trainiert ist oder für Wettervorhersagen. Das sind dann ganz spezielle andere Fälle. Ich glaube, wir reden jetzt mehr über diese generative KI, weil die haben besonders diese Crawler.

11:41 Also das, was man wahrscheinlich meistens als ChatGPT oder Perplexity oder Claude oder DeepSeek oder was auch immer kennt. Genau. Und die kommen eben zum einen regelmäßig, zum Teil alle paar Stunden, haben aber in der Regel inzwischen nicht nur sozusagen den Crawler, der die Daten erstmal zum Trainieren sammelt, wie du gesagt hast, sondern sie haben auch noch einen zweiten Client, der dann das Ganze sozusagen ad hoc, wenn ein User gerade irgendwie eine Anfrage stellt, zum Beispiel fasse mir diese Website zusammen, dann diese Website abruft und dann läuft dieses Modell erst.

12:17 Auf den Daten. Das muss man da auch immer sehr unterscheiden. Okay, also wenn ich jetzt frage, irgendwie sag mir doch mal, was auf chaos.social los ist, dann wird nicht eine interne Repräsentation, die früher abgerufen wurde, der Webseite verwendet, sondern geht in dem Moment sozusagen, geht die Software los?

12:34 Genau, also wer sich noch erinnern kann vor, so in den Anfangszeiten von ChatGPT, ich weiß gerade gar nicht mehr, zwei, drei, vier, fünf Jahre, ich habe kein gutes Zeitgefühl, aber da war es dann tatsächlich so. Im November 2022 ging sozusagen die erste Version offiziell an den Start. Danke schön. Also zu dem Zeitpunkt, wer sich da noch daran erinnern kann, wenn man da ChatGPT gefragt hat nach Dingen, die eine gewisse Aktualität haben, hat man sogar relativ explizit eine Antwort bekommen, die ungefähr so lautete wie, ich bin mit dem Datenbestand des Internets bis 2021 oder so trainiert worden und alles, was danach war, weiß ich nicht.

13:15 Und das ist inzwischen eben eine Neuerung der moderneren ChatGPT-Versionen, dass die eben auch dazu in der Lage sind, nicht nur aus dem, womit sie bereits trainiert worden sind, Antworten geben zu können, sondern auch gewissermaßen zu googeln. Ganz simpel, wenn man sie halt was fragt und sich live zusätzliche Ergebnisse, gerade auch von hoher Aktualität, reinzuziehen und die aber dynamisch in sein Sprachmodell mit reinzulernen.

13:42 Wir werden jetzt gleich sozusagen ausführlich drüber reden, warum das ein Problem ist, aber bevor wir dazu kommen, möchte ich generell fragen, warum das überhaupt ein Problem sein kann, also in dem Sinne von, wenn man alles, was ihr jetzt erklärt habt, kann man sozusagen, also die Leute, die tief into it sind, sehen das Problem wahrscheinlich gleich, aber für alle anderen sozusagen, denkt man ja, okay, so ein Crawler ist ja vor allen Dingen Aufwand für die Leute, die den Crawler betreiben.

14:08 Nämlich, die müssen ja irgendwie eine Software schreiben, diese Software muss verstehen, wie Webseiten funktionieren, dann müssen diese Daten abgerufen werden, die müssen ordentlich irgendwie abgespeichert werden. Das muss alles möglichst schnell und effizient gehen, damit das irgendwie alles gut funktioniert.

14:20 So und ihr seid jetzt quasi... Ich verallgemeine euch heute sozusagen immer so ihr auf der anderen Seite des Crawlers, die es ankommt. Also erstmal ganz allgemein gefragt, wie werden Leute, die Webseiten betreiben oder beziehungsweise die, die Infrastruktur betreiben, auf der Webseiten betrieben werden, von einem Crawler beeinflusst?

14:42 Also was, wenn ein Crawler ankommt, was macht das mit euch? Okay. Als erstes, was macht es mit uns? Fangen wir mal an. Im besten Fall ist das für unsere Infrastruktur wie jede andere Anfrage von auch einem Menschen genauso. Die Seite wird angefragt, wir liefern die Daten aus, die werden verarbeitet und dann ist die Person wieder weg.

15:08 Mhm. So. Eine KI ist aber häufig dann eben so, dass sie dann die ganze Seite abruft, auch viel schneller als ein Mensch macht. Und dann muss man natürlich hoffen, dass das auch gut programmiert ist, weil sonst fragt das noch viel schneller und noch viel öfter das ab. Und manchmal gibt es dann auch so Funktionen wie Kalender oder Sonstiges, wo sich dann die Crawler drin verheddern sozusagen.

15:34 Und dann fragen sie für jedes Datum bis in alle Ewigkeit die Daten von der Website ab. Und das erhöht dann in der Masse auch bei uns immer weiter die Last auf dem System, bis halt irgendwann die Ressourcen, die für, sag ich mal, eine Website zur Verfügung stehen, begrenzt sind. Und dann fängt das Ganze an, eben für alle auch langsam zu werden oder Fehler zu werfen.

16:00 Das muss man vielleicht sozusagen einmal sagen, weil ich glaube, für Menschen, die nicht selber Web-Posting betreiben, ist das so ein bisschen aus der Abteilung Magie. Also ich glaube die einfachste zu formulieren ist eine Webseite aufzurufen, verursacht einen Aufwand also ein Computer muss da Dinge berechnen und in der Tat ist es so dass Webseiten auch auf verschiedenen großen Infrastrukturen betrieben werden also zum Beispiel meine privaten Podcasts sind auf einem, ist egal die Fachbegriffe sind auf einem sehr kleinen sozusagen Account weil da passiert halt nichts vielleicht 1000 Hörer über zwei Wochen oder so Also das Chaosradio mit irgendwie mittleren fünfstelligen Zahlen ist halt auf einer

16:40 dickeren Maschine mit einer dickeren Anleitung, also nur um zu sagen, es gibt Unterschiede in dem, was es ist. Und von dem, was du jetzt sagst, höre ich also, okay, die Crawler können in sehr kurzer Zeit so hohen Aufriss verursachen, dass sozusagen die Dimensionierung einer Maschine irgendwie nicht mehr reicht.

17:01 Genau. Also es kommt immer darauf an, was für eine Technik wird eingesetzt, um eine Website online zu bringen. Das kann im simpelsten Fall eine statische Datei sein, eine statische HTML-Seite. Die lässt sich dann milliardenfach aufrufen, ohne dass das irgendwie ein signifikantes Problem darstellt. Aber in der Praxis sind Websites heutzutage halt sehr viel dynamischer aufgebaut.

17:25 Nehmen wir mal WordPress als so ein ganz verbreitetes Content-Management-System. Das heißt, wenn da irgendeine x-beliebige Anfrage reinkommt, dann landet die erstmal beim Webserver. Der Webserver redet dann mit PHP, mit einer Programmiersprache, die im Hintergrund läuft. Das PHP wiederum redet mit einer Datenbank und guckt dann, okay, was für ein Artikel ist das?

17:47 Was muss ich dazu für Informationen zusammenstellen? Und da hängt es halt stark davon ab. Was weiß ich, wie viele Plugins da zum Beispiel zum Einsatz kommen, wie komplex diese Website gebaut ist. Und da wird es insofern ein bisschen gefährlich, weil für ganz, ganz viele Leute Performance-Optimierung erstmal überhaupt kein relevantes Thema ist.

18:09 Also wenn die Website mit einigermaßen Komplexität gebaut ist und dann dauert es halt vielleicht nicht 100 Millisekunden, sondern eine Sekunde, damit die Seite abgerufen wird, dann gibt es viele Seitenbetreiber, die sagen, naja, ich habe 25 Besucher am Tag, das ist mir völlig egal. Und dann ist es auch uns als Hoster völlig egal, weil die generierte Last auf den Servern kaum messbar ist.

18:34 Wenn dann aber so ein KI-Crawler vorbeikommt und von genau dieser Website jetzt 100.000 Requests abverlangt, dann entsteht dabei halt eine Auslastung an Ressourcen, die kaum noch abzubilden ist. Also man merkt es zum Beispiel, wir hatten ja schon das Stichwort Wayback Machine, da kann man sich vorstellen, dass da nicht irgendwie ein Rechner mit einer SSD steht, auf der das gesamte Internet als Kopie gespeichert ist, sondern das sind solche Datenmengen, da reden wir eben auch von so Dingen, Dass Sachen vielleicht auf irgendwelchen Tapes oder so gespeichert werden, die in Schränken archiviert werden.

19:11 Wo man sich vorstellen kann, wenn ich da jetzt irgendwie klicke, dann dauert es bei der Wayback Machine ja auch durchaus 10, 20 Sekunden oder so, bis ich die alte Version dieser Website zu sehen bekomme, weil die halt zum Beispiel im Hintergrund auf eine Art und Weise archiviert ist, dass ein Roboterarm irgendwo hinfahren muss, um sich irgendwo ein Tape rauszusuchen und dieses Tape dann auszulesen.

19:36 Da kann man sich schnell vorstellen, erstens, dass das wenig performant ist, aber es kommt ja auch nicht drauf an auf Performance. Bei der Wayback Machine. Und man kann sich aber eben auch vorstellen, wenn dann so ein KI-Crawler vorbeikommt und sagt, gib mir mal random aus deinem ganzen Bestand lauter Seiten und ich stelle mir so einen Roboterarm vor, der da völlig am Qualmen ist, weil er kaum hinterherkommt.

19:59 Also es passieren Dinge auf einem Server, die im Zweifelsfall sehr aufwendig sein können. Und Lea hatte schon das Beispiel mit dem Kalender gebracht. Da hast du halt vielleicht eine Terminübersicht und dann gibt es aber den Kalender, dann hast du die Übersicht nochmal nach Tagen und dann gibt es aber auch eine Wochenübersicht und vielleicht eine Monatsübersicht und dann gibt es irgendwelche Tags.

20:22 Und ein Mensch würde so eine Funktion vielleicht ein-, zweimal benutzen, um bis zu dem Ziel zu kommen, wo er hinkommt, während aber so ein KI-Crawler das alles durchgeht, der sagt, jetzt nehme ich mir die Wochenansicht vor, dann nehme ich die erste Kalenderwoche und die zweite und die dritte und dann nehme ich mir den ersten Monat und den zweiten Monat und den dritten Monat und so weiter.

20:41 Die kommt am Ende natürlich trotzdem nur auf die drei Termine, die da vielleicht drinstehen in dem Kalender, aber hat sozusagen jeden erdenklichen Weg, der zu diesen Terminen hinführt, dann auch einmal genommen. Also die Frage, die sich mir jetzt sofort aufdringt, ist, ihr habt ja anfangs beschrieben erstmal, was Crawler sind.

21:01 Und es gibt ja, also das Internet ist jetzt schon länger als die Gen-KI-Crawler, über die wir reden. Und das heißt also gerade sowas wie ein Google-Crawler oder sowas, also oder andersrum. Ich stelle mir das Web als sozusagen so eine Art Vertrag vor. Also jeder hostet seine Seiten und es gibt halt Crawler und die kommen halt.

21:20 Vorbei, weil sonst würden Suchmaschinen einfach überhaupt gar nicht funktionieren. Und ich entnehme sozusagen aber dem Gesprächsbedürfnis über das Thema, ja nicht nur von euch, sondern ich hatte ja eben heute auch diesen Tut, also was ist denn der Unterschied? Könnt ihr das sagen? Also sagen, sind die irgendwie schlechter programmiert? Kommen die häufiger vorbei?

21:42 Verursachen die mehr Aufwand? Also was ist sozusagen, warum war es vorher okay und jetzt ist es nicht okay? Machen die was anders oder ist es eher so ein Punkt von, okay, wir waren als Web darauf eingerichtet, jetzt ganz pauschal gesprochen, dass halt ab und zu mal so ein Suchcrawler vorbeikommt. Aber jetzt sind es dann einen Crawler pro Tag fünf und das ist einfach zu viel.

22:00 Also wo ist der Unterschied, der qualitative zwischen dem Crawling vor KI und jetzt danach? Also zum einen muss man sagen, dass, glaube ich, die alten Suchmaschinencrawler einfach auch historisch, dadurch, dass sie über Jahre und viele Jahre entwickelt wurden, deutlich robuster sind und weniger Fehler haben als die für KI gegenwärtig.

22:27 Das heißt, die sind früher auch mal in solche Problemfälle reingerannt, aber machen das nicht mehr inzwischen. Also die sind sozusagen ausgereifter. Zum anderen, ja, es waren weniger, deutlich weniger. Jetzt macht ja quasi gefühlt jedes Startup irgendwie seinen eigenen Datenbestand und wühlt da drin rum.

22:44 Dazu haben sie sich damals auch noch mehr an diese Regeln wie diese robots.txt-Datei gehalten. Das machen sie heute auch nicht mehr. Und, ja, das sind so die Gründe, sag ich mal, dass das ein großer Unterschied ist. Konntest du die ganze Zeit so aus, als ob sie Zahnschmerzen hat? Naja, es gab ja mal einen Grund, warum wir uns überlegt haben, warum wir so ein Chaosradio machen.

23:07 Und das ist so ungefähr, würde ich sagen, schon ein Jahr her, wo plötzlich alle anfingen, sich zu beschweren. Ja, weil der Schwall an KI-Bots immer größer wurde. Und das ist ja auch so ein bisschen der Nachhall von einer großen Vendetta, die sich eben um diese KI dreht. und ist ja nicht nur die riesengroßen Tech-Konzerne.

23:25 Und ich glaube, das ist ein Element, was jetzt noch nicht angesprochen wurde. Du hast ja eigentlich nur zwei Möglichkeiten, so einen Crawler fernzuhalten. Entweder eben die schon angesprochenen robots.txt, die ja letztlich eine Absprache ist. Man kann sich daran halten und die meisten alten Suchmaschinen-Crawler haben sich daran gehalten. Oder eben Access-Controller. Du machst einen Zukunftskontroller. Kannst du auch.

23:48 Aber ich glaube, es gibt noch diese andere Seite. Nämlich zu sagen, Die meisten Leute, die eine Webseite haben, wollen ja gefunden werden. Das heißt, die Abmachung war ja auch irgendwie okay, denn man möchte ja im Web gefunden werden. Bei KI-Bots sieht die Sache, glaube ich, differenzierter aus. Es gibt die AI-Slop-Hater, die sowieso damit nichts zu tun haben wollen und schon gar nicht irgendwie Kosten haben wollen aufgrund von großen Sprachmodellen und den Tech-Konzernen.

24:14 Und dann gibt es aber auch den ganzen Streit um zum Beispiel Urheberrechte, kreativen Rechte, Stilnachahmung und so was. Und die ganzen Rechtsstreitigkeiten, die sich abspielen, die einfach noch nicht gelöst sind. Und wo, glaube ich, mehr Gegenwehr gegen diese Art von Crawling, nicht nur, weil die schlechter technisch gemacht ist, sondern eben auch, weil die einen anderen Zweck erfüllt.

24:35 Und ich glaube, hier hat sich so eine Gemengenlage gebildet. Also einmal von der Seite die crawlen und wie die das technisch machen, dann die Menge, aber auch der Grund. Und ich glaube, das normale Suchmaschinencrawling war für die meisten auch in Ordnung, denn das Netz ist ja auch sozusagen so gebaut, dass die meisten Leute gefunden werden wollen.

24:57 Also ich glaube, deshalb ist es dazu gekommen. Der letzte Aspekt, den ich da noch anmerken würde, wäre, es gibt ja jetzt seit einer Weile Bemühungen, Vielleicht zu einer neuen Lösung zu kommen, weil eben auch viele von den KI-Crawlern die Robots.txt nicht beachten. Also sich darüber hinwegsetzen, was früher eine Konvention war.

25:18 Und weil man auch auf die Idee gekommen ist, dass man technisch vielleicht ein paar andere Regeln braucht für diese Art von Bots, weil die ja eben auch andere Funktionen ausfüllen. Also es ist so ein bisschen, die Heise hatte kürzlich einen Nachruf, jetzt ist es tot, nämlich die Robux TXT, jetzt sozusagen diese Ära des Web zu Ende.

25:40 Also es ist so ein Tipping-Point erreicht, so schätze ich es zumindest ein. Würdet ihr denn dem zustimmen? Also ist sozusagen die Anzahl der KI-Crawler, die vorbeikommen, immer noch mehr und immer noch schlechter oder ist da jetzt schon sozusagen oben die Bergspitze erreicht? Puh, gute Frage. Also ich würde sagen, die Spitz ist noch nicht ganz erreicht.

26:09 Wir bewegen uns aber auf den Gipfel zu, weil eben viele, auch viele große Firmen wie Cloudflare oder andere, die sich sozusagen vor andere Websites setzen, inzwischen Filtermöglichkeiten genau dafür anbieten, beziehungsweise Überlösung nachdenken, wie das Ganze vielleicht gerechter gestaltet werden kann, im Sinne von, man bekommt dann eben einen ganz kleinen Betrag oder Ähnliches.

26:37 Man muss aber auch sagen, unabhängig davon, dass sich das ändert, ändert sich inzwischen auch sehr viel dadurch, dass es diese Tools wie ChatGPT oder andere gibt, dass Menschen diese KI-Tools als Suchmaschine benutzen. Das hatten wir ja schon ganz am Anfang, dass manchmal die dann nochmal separat nachfragen, nicht nur fürs Trainieren.

27:03 Und man sieht inzwischen ganz viel auch, dass Websites und anderes, da wo früher auf Suchmaschinen optimiert wurde, das jetzt eben auf KI optimiert wird. Und wir hören auch von manchen KundInnen immer mal wieder, dass sie das auch möchten, dass ihre Inhalte von der KI wiederum initiiert werden, weil eben Leute da gerade nach Produkten oder sonst was suchen und dann natürlich auch gefunden werden wollen.

27:29 Also das ist eine ganz schwierige Gemengelage, wie du ja schon beschrieben hast. Also auch eine gewisse Konvergenz, die sich hier abzeichnet. Dazwischen suchen und AI-Suche oder eine Mischung daraus, nicht wahr? Genau. Ja, ich würde gerne noch ergänzen. Du hast es schon ganz gut beschrieben, dass es mit der robots.txt eigentlich so eine Art Vertrag war.

27:52 Oder es gab sowas wie einen Respekt davor. Ich kann meine Website so optimieren, dass sie bei Google gut gefunden wird. Ich kann aber genauso gut auch die bewusste Entscheidung treffen, zu sagen, ich sperre Google jetzt aus. Und das ist halt genau das, was im Moment mit den KI-Bots-Stich nicht möglich ist.

28:14 Also die setzen sich einfach auf technischer Ebene so ziemlich über alles hinweg, was man so versuchen kann. Also da kommen wir vielleicht später noch ein bisschen so zur Technik. Aber das, wo ich früher an den Requests den Googlebot einfach erkennen konnte, weil da drin stand, hallo, ich bin der Googlebot.

28:30 Und wenn ich das nicht wollte, konnte ich den sperren. So tut es halt mit den KI-Bots auch nicht mehr. Und das heißt, die Entscheidung, ob ich jetzt gerne aktiv dazu beitragen möchte, dass das KI-Modell trainiert wird oder ob ich das gezielt vermeiden möchte, ist für mich gar keine Wahl, die ich im Moment treffen kann.

28:49 Also man kann sich den quasi nur so straßenkampfmäßig mit allen möglichen technischen Mitteln, Sperrungen hier und da so halbwegs dagegen erwehren. Aber es ist eben genauso das, wie es auch aus dem eingänglichen Tut hervorging. Man muss sich da explizit gegen wehren. Ansonsten ist die Wahl für einen schon getroffen und man ist ein Teil davon.

29:13 Und selbst in den Details, ich konnte in der Robots TXT glaube ich sogar sowas wie eine Crawl-Frequenz festlegen. Wenn ich weiß, meine Seite performt nicht so wahnsinnig, dann kann ich aktiv sagen, hier ist meine Sitemap XML, das sind genau die 15 Seiten, die du bitte crawlst und den Rest bitte nicht und bitte komm auch nicht häufiger als einmal in drei Tagen vorbei.

29:36 Und da ist das Ausmaß, mit dem KI-Crawler vorbeikommen, eben auch ein ganz anderes, was zur Verschärfung des Problems beiträgt. Also könnte man zusammengefasst sagen, Crawling ist eine Technologie, die ist eigentlich sozusagen gut abgehangen, aber sozusagen die neue Iteration dieser Technologie hält sich also weder an das, was man technisch schon darüber gelernt hat, noch sozusagen an die Agreements, die das Web bis jetzt gestaltet haben, weil die und ja, liebe HörerInnen, das ist jetzt immer eine Pauschalisierung.

30:09 Wir reden jetzt von "die KI-Crawler", natürlich hat jede Firma ihre eigenen und so weiter und so fort. Dann gibt es bestimmt auch den einen guten. Aber es ist sozusagen in der Regel verstoßen die dagegen? Nehme ich das richtig sozusagen mit aus dem Subtext? Ich würde es tatsächlich so formulieren, also ich habe keine tiefergehende Kenntnis darüber, wie KI-Crawler technisch funktionieren, aber es entsteht so ein gewisser Eindruck anhand dessen, was wir sehen.

30:40 Und ich habe so die Vorstellung, dass KI-Crawler gewissermaßen mit dem Auftrag ins Netz geschickt werden, eine Seite zu crawlen und dann tun sie gewissermaßen alles, was dafür nötig ist. Und dann stellen sie zum Beispiel fest, oh, wenn ich mich CloudBot oder so nenne, dann werde ich ausgesperrt. Aber ich stelle fest, wenn ich mich Internet Explorer 11 nenne, dann werde ich mich ausgesperrt. Also nenne ich mich doch Internet Explorer 11.

31:06 Und damit kommen die zum Ziel und der Weg dorthin ist eigentlich zweitrangig. Das ist halt auch das, was das Sperren dann so schwierig macht. Ich will nochmal so sagen, also wir haben jetzt schon darüber gesprochen, auch, dass es möglicherweise auch nicht technische Gründe gibt, um KI-Crawler nicht zulassen zu wollen.

31:25 Aber jetzt ihr als Hoster habt ja sozusagen im Vorgeplänkel auch sozusagen formuliert, das ist ein Ärgernis mit dem ich wollte. Was genau ist das, was bei euch passiert? Also was verursacht das Ärgernis? Habt ihr da einen Mehraufwand? Wodurch wird der verursacht? Also erstmal muss man sagen, wir haben halt viele, viele tausend Kunden, das heißt mit vielen, vielen tausend Websites, das heißt die KI-Bots kommen nicht nur auf einer Seite nach und nach vorbei, sondern sie kommen zum Teil auch auf hunderten Seiten gleichzeitig vorbei und wie gesagt verheddern sich manchmal auf Einzelnen, was dann die Last hochtreibt, was dann wiederum dazu sorgt, dass es auch für andere Leute langsamer wird.

32:12 Und das ist, sage ich mal, das größte Problem, das wir haben. Wir können unsere Dienstleistungen, dass die Seiten schnell erreichbar sind, nur schwer zur Verfügung stellen, wenn, um es mal salopp zu sagen, ein Unternehmen, das Milliarden von Venture Capital hat, auf uns plötzlich einprügelt und sagt, gib mir mal alle Daten, die ihr so zu dieser Seite habt.

32:36 Und was kann man dagegen tun? Oder kann man was dagegen tun? Ist das ein politisches Problem? Also wenn ich, ihr habt ein politisches Problem, Konz Karcho wieder mit den Augen gerollt, meine ich in dem Sinne von man kann es technisch nicht klären, sondern es müsste anders geregelt werden. Was ich jetzt verstanden habe, ist es gab früher oder es gibt eine Robots TXT und früher galt mal wenn da drin steht nein, dann nein.

33:01 Es gab früher haben sich Crawler in der Regel so benannt, wie sie waren. Nämlich als Crawler von Firma XY und dann konnte man sie mehr oder weniger technisch aussperren. Wenn du die ganze Zeit so ein Gesicht machst, dann musst du es auch formulieren. Naja, es tut mir leid, dass ich nicht ein neutrales Gesicht machen kann.

33:23 Aber es ist natürlich auch nicht zu idealisieren. Auch schon früher gab es Ärger mit Crawlern, die auch versucht haben, gegen die Konvention zu handeln. So ist es nicht. Ich glaube, das Problem ist ja nicht, dass sich einer mal darüber hinweg setzt, sondern tatsächlich die Größe, die jetzt ja schon so ein bisschen angedeutet war und dass die auch ganz klar reagieren auf Gegenmaßnahmen, die von vielen getroffen wurden, als es immer mehr wurde.

33:45 Also ich glaube, das hat sich eben zu so einem, ich fand den Begriff so schön, zu so einer Straßenschlacht entwickelt, wo man versucht, Wege zu finden, sozusagen zu minimieren. Also das ist so ein Aufrüsten und das ist, glaube ich, für mich der große Unterschied. Aber dazu wollte ich doch gerade kommen.

34:02 Ich wollte jetzt erst mal fragen, es gibt diese einfachen Wege, die früher sozusagen als Agreement da waren, die nicht alle immer eingehalten haben, die jetzt nicht mehr funktionieren. Was ist denn die nächste Stufe in diesem Kampf? Also was kann man denn machen? Genau, also vielleicht nochmal ganz kurz so ein bisschen den Rahmen beschreibend anzunehmen.

34:26 Also zum Teil sehen wir zum Beispiel von ByteDance, das sind die Leute mit TikTok, dass wir da die Anfragen von bis zu 20.000 IPs bekommen. Durchgehend. Weil die einfach so viele VNs in irgendwelchen Clouds hochziehen. Und dann quasi nur einen Request davon machen. Und dann kommt schon wieder die nächste.

34:47 Was das dann schwierig macht. Also sperren, schwierig ne? Das sind jetzt schon wieder viele Informationen auf einmal, glaube ich. Also das heißt, eine Sache, die man gegen Crawler machen kann, ist, versuchen rauszufinden, woher sie kommen, also die IP-Adresse herausfinden, also die Telefonnummer im Internet und dann sagen so, nee, Anfragen von dieser IP-Adresse, nein.

35:08 So, das wäre also eine weitere Möglichkeit, sozusagen sowas zu sperren und das wird dann umgangen im Sinne von, im Sinne von jemand gibt sich technisch einfach sehr viele IPs und dann was pro IP nur eine Anfrage. Genau. Zum Teil im Prinzip jede Anfrage schickst du mit einem neuen Namen raus und dann kannst du zwar sagen, okay, ich sperre den jetzt, aber dann kommt der Bot schon wieder mit dem nächsten Namen um die Ecke, den du dann theoretisch wieder blocken musst und so weiter.

35:49 Also wir machen jetzt zum Beispiel gegenwärtig, wir achten schon zum Teil auf diesen Namen, mit denen sie sich melden und wenn da zu viele Anfragen kommen, dann sagen wir, okay, jetzt setze dich mal auf die ruhige Bank und jetzt bist du mal für einen Tag weg. Und dann darf die IP theoretisch wieder. Und wenn sie sich dann wieder daneben benimmt, dann kommt sie wieder auf die stille Bank, aber diesmal für zwei Tage.

36:13 Ist das so ein tagesaktuelles Ding? Also man schraubt jetzt eigentlich mittlerweile jeden Tag daran rum, wie viele Zugriffe. Von irgendwo kommen und passt diese Filter an? Nee, also die haben wir aktuell mehr oder minder statisch. Man muss aber schon immer im Blick behalten, unter welchen Namen sie sich dann melden und das anpassen.

36:35 Also es ist schon etwas, sag ich mal, wo man wöchentlich oder alle paar Wochen schon ein bisschen drauf gucken muss und das anpassen muss. Und jetzt können wir sozusagen noch zum nächsten Schritt kommen, wo es dann schwierig wird. Es gab jetzt letztes Jahr, hatte Heise auch berichtet, zum Beispiel einen Software-Baukasten, den viele Apps benutzt haben und wo die auch aktiv auf Leute zugegangen sind und gesagt haben, hier willst du diesen Toolbox bei dir nicht einbauen.

37:09 Und dann konnten Leute oder Unternehmen als Dienstleistung sozusagen über dein Handy zum Beispiel ihre Anfragen leiten. What? Genau. Warte, also nur für mal Fertig, also quasi, nehmen wir mal eines meiner die Computerspiele auf dem Smartphone und dann gibt es sozusagen, wenn ich ein Computer, also ein Smartphone-Game programmieren will, benutze ich dafür einen Baukasten und in diesem Baukasten enthalten ist eine Schnittstelle, die dann der Betreiber des Spiels wissentlich oder unwissentlich...

37:43 Der wird dafür bezahlt. Der wird dafür bezahlt. Genau. Also das finde ich total interessant, weil das ja vielleicht sozusagen auch eine Erklärung ist, wofür verdienen diese ganzen Billo-Freet-to-Play-Spiele ihr Geld durch Werbung und vielleicht dann auch wow und das heißt dann wird mein Handy dazu benutzt, um einen KI-Crawler zu transportieren und die IP-Adresse ist dann sozusagen meine.

38:06 Genau. Das ist nämlich das nächste Problem. Wir sehen auch manchmal, dass die Angriffe oder so Anfragen, die dann auch nach KI-Bot aussehen, von hunderttausenden Endkunden Anschlüssen kommen. Und da kann man dann auch nicht mehr wirklich was blocken. Ich wollte gerade sagen, also mir scheint das sozusagen, also dieser, was war der Kampf? Wie der Kampfbegriff?

38:30 Straßenkampf. Der Straßenkampf mit den KI-Crawlern wird zunehmend schwieriger, weil man sie nicht identifizieren kann. Weil man weder weiß, woher sie kommen, noch wie sie heißen. Genau. Noch halten sie sich an die Regeln, die man so identifizieren kann. Gibt es denn dann noch mehr, was man machen kann?

38:48 Also sagen, Fragen, die auf eine bestimmte, Also gibt es irgendwie was technisch, was man erkennen kann? Will man vielleicht eine KI einsetzen? Das machen tatsächlich einige Unternehmen, glaube ich sogar schon. Oder zumindest sie trainieren auf den Anfragen eine KI, die dann speziell dazu gedacht ist, um Anfragen von KIs wiederum zu erkennen.

39:12 Vielleicht noch ganz kurz eine ganz kleine Kurve. Was nämlich auch häufig ein Problem ist, es gibt dann ja Anbieter für Content Delivery Networks, Das ist, wenn man eine Seite hat, zum Beispiel, um einen Podcast mit vielen hundert Folgen zu hosten. Dann schaltet man die davor, um die Last für die Server hintendran klein zu halten.

39:32 Allerdings sehen wir dann wiederum nur deren IPs und die können wir nicht blocken. Das heißt, wenn ich einen KI-Caller benutze, der über so ein Content-Delivery-Netzwerk seine Anfragen stellt. Dann… Kannst du auch nichts machen, weil sonst würde ich ja den Zugriff für alle Nutzenden blocken. Ach so, die vergiften dann quasi.

39:54 Genau, die vergiften die Daten. Also das heißt, ihr empfangt Anfragen, da denkt ihr so, okay, das sind bestimmt KI-Anfragen, dann könnt ihr aber sozusagen nicht die IP-Adressen sperren, weil ihr könnt dann immer nur alles blocken. Was von dieser Richtung kommt. Genau, weil wir wissen in dem Fall, okay, das ist, was weiß ich, Cloud-Schläge als großer Anbieter und die fragen halt von dem Server mit dieser IP ganz viele Seiten ab und da sind hunderte, tausende Nutzende hintendran und nicht nur diese KI-Bots.

40:29 Also es ist wirklich eine Katz-und-Maus-Spieler. Also gerade bei diesen CDNs ist es dann schon so, dass die in den HTTP-Headern die Original-IP mitliefern, für die, die jetzt einen Request durchleiten. Das heißt, ich kann nicht mehr auf IP-Ebene filtern, was ja so eine klassische Firewall-Aufgabe ist, einfach IP-basiert Pakete wegfiltern.

40:54 Das ist halt frühzeitige, sehr effiziente Filterung. Ich kann natürlich zu einem späteren Zeitpunkt in meinem Stack schon in HTTP-Header reinschauen und da dann auch nochmal nach IPs filtern. Da bin ich aber technisch viel tiefer in meinem eigenen Stack dann schon drin und muss ergo auch sehr viel mehr Ressourcen aufwenden.

41:15 Und das ist sowas, was wir im Moment nicht machen, weil es effizient nicht so wirklich möglich ist, was in der Folge heißt, dass überall da, wo wir Dinge sperren wollen, wir die bekannten Content Delivery Networks im Grunde außen vor lassen müssen. In der Hoffnung, dass die selbst auch so ein bisschen KI-Filterung betreiben.

41:37 Ich bin ehrlich, nur als an dem Punkt, wo ich sagen muss, ich bin nicht neidisch auf euren Job. Man muss auch ehrlich sein, es nimmt einem manchmal den Spaß dran ein bisschen. Wenn man so eine Woche wieder nur gegen KI-Bots gekämpft hat, dann ist das schon manchmal ein bisschen frustrierend. Ich glaube, was man jetzt in den letzten Monaten beobachten konnte, ist so eine typische Reaktion von der technischen Community.

42:01 Also sie haben so Überhand und alle haben sich darüber beschwert und sich überlegt, wie sie ihre in der Regel die Zugriffskontrollen verbessern können. Und dann gab es so ein, ich würde mal sagen, so zwei Dutzend Blogbeiträge, wie man sozusagen das verteuern könnte für die. Also sich zu überlegen, wie man die auf andere Weise abwehren könnte. Genau.

42:25 Habt ihr das wahrgenommen? Habt ihr jemals überlegt, sowas auch einzusetzen? Ja. Also habt ihr Labyrinthe? Nein, Labyrinthe haben wir nicht. Labyrinthe haben wir aus dem Grund nicht, weil wir sagen, okay, dann generiert das eben. Im Interesse der Hörer, also vielleicht kann man sich sozusagen zusammenreimen, aber Labyrinthe ist sozusagen, man versucht den KI-Crawler nicht wegzublocken, sondern man sagt, klar, komm mal her, komm mal her, geh mal da lang.

42:52 Und da lang ist dann sozusagen eine unendliche Menge von, quasi wie der Kalender, den ihr vorhin beschrieben habt. Also man versucht sozusagen an Daten zu kommen, aber da kommt nie was, sondern man geht immer noch sozusagen einen Link weiter, aber da steht nie was. Genau, wie so eine optische Täuschung von Escher oder so.

43:10 Okay, das ist eine interessante Metapher. Okay, das gibt es also technisch. Da steht man natürlich auch wieder vor der Herausforderung, wie erkenne ich den KI-Bot, aber dann könnte man ihn da hinschicken und das macht ihr aber nicht, weil…. Also ich glaube, da geht es um zwei verschiedene Dinge. Es gibt Seiten, die gewissermaßen bewusst zum Ziel haben, die KI-Crawler nicht fernzuhalten, sondern ganz im Gegenteil, sie möglichst lange auf der Seite zu halten und ihnen Blödsinn zu geben.

43:39 Also da geht es quasi mehr darum, den Datenbestand des KI-Modells zu vergiften, denn diese KI-Modelle, die suchen natürlich nach möglichst flüssiger Sprache, mit der sie ihre Sprachmodelle trainieren können. Und wenn Sie aber halt auf eine Seite treffen, die Ihnen nur Kauderwelsch liefert, das in gar keiner Sprache irgendeinen Sinn ergibt und jedes einzelne Wort dieses Kauderwelschs ist ein Link auf eine weitere Seite, die noch mehr Kauderwelsch liefert, dann ist so ein bisschen der Gedanke dahinter, wir halten uns den Crawler nicht vom Leib, aber wir geben dem nur Stuss zu lesen und zwar auf eine Art und Weise, die wir sehr effizient bedienen können, die für den Crawler aber unendliche Mengen an Trainingsmaterial liefert, das Blödsinn ist.

44:26 Da sage ich ganz ehrlich, in meinem Interesse ist das eigentlich nicht, denn dann sind die Crawler trotzdem noch bei uns. Eine gewisse Last generiert es trotzdem und der Crawler wird nicht hergehen und nach einer halben Stunde sagen, da kommt ja immer Blödsinn, ich höre mal auf, bei dir weiter zu crawlen. Da fehlt mir ein bisschen die Fantasie für.

44:46 Zumal ja auch noch das Problem besteht mit dieser Variante, dass es trotzdem, wie du ja schon gesagt hast, nicht nur bei uns, sondern auch auf der Seite der KI-Crawler, der KI-Unternehmen Ressourcen braucht. Und sagen wir es mal so, dieses ganze KI-Umfeld ist jetzt nicht das energieeffizienteste. Da muss man sich natürlich überlegen, ob man sozusagen dafür sorgen will, dass da noch mehr Energie verbrannt wird oder ob man halt einfach sagt, nee, du hier nicht.

45:13 Und dafür gibt es dann auch noch andere Möglichkeiten. Also neben diesen Labyrinthen, um die KI-Crawler zu beschäftigen und das möglichst teuer an der Stelle zu machen, gibt es noch eine andere Variante. Das ist sozusagen der Proof of Work. Das heißt, man muss eine kleine Berechnung ausführen, also eine kleine Software, die man vor seine Website zum Beispiel schaltet, die dann in Browser eine kleine Berechnung per JavaScript, also eine Programmiersprache für Browser, ausführt.

45:43 Und die Idee dahinter ist dann, diese Berechnung für eine Seite auszuführen, die ein Mensch aufruft, ist relativ gering. Das dauert dann maximal, sage ich mal, 1, vielleicht 2 Sekunden. Wenn jetzt allerdings so ein KI-Crawler hunderte Seiten sehr, sehr schnell hintereinander abruft, dann machen diese jeweils 2 Sekunden und diese Berechnung relativ viel Aufwand und, Und das sollte dann dazu führen, zum Beispiel, dass die das Ganze abbrechen, weil sie sagen, das ist nicht mehr wirtschaftlich machbar, ich gehe woanders hin.

46:22 Wenn du Berechnung sagst, meinst du jetzt sozusagen, da wird der Computer berechnet was, nicht der Mensch, der da vorsitzt und die Webseite aufruft? Genau, der Computer berechnet was. Aber ich möchte mal zurück zu dem Vergiften kommen, weil das finde ich natürlich sozusagen aus einem Schadefreude-Aspekt einen sehr witzigen Gedanken, dass man also nicht nur die Ressourcen des Crawlers in die Länge zieht, sondern eben auch noch das, was dahinter passiert sozusagen, verquatscht, indem man die Daten, mit denen die KI-Chatbots dann arbeiten, vergiftet eben, ist schon das richtige Wort.

46:55 Aber ihr sagt, das macht zwar Spaß, aber ist aus einer Nachhaltigkeitsperspektive halt teuer. Und wenn man da sozusagen ein bisschen interdisziplinär denkt und auch an die Klimakatastrophe, ist das halt witzig, aber nicht zu empfehlen. Genau, das Ziel sollte eigentlich sein, nicht das ewig zu beschäftigen und früher oder später wird es dafür auch Lösungen und Erkennungsalgorithmen geben, sondern zu sagen, okay, wir müssen wieder zu einem fairen Umgang miteinander an der Stelle kommen.

47:30 Aber da siehst du mich ehrlich gesagt skeptisch. Oh, ich bin auch super skeptisch. Genau, also was ich mich gerade frage, nachdem ich es jetzt gelernt habe, ist, die einzige pragmatische Lösung…, die wahrscheinlich kurzfristig funktionieren würde, ist einfach alles dicker zu machen, damit diese KI-Crawler-Anfragen sozusagen technisch geschluckt werden können und nichts mehr langsamer machen.

47:56 Was ja dann wiederum hieße, also bei euch ist das natürlich was Besonderes, wenn die Kunden ihre Preise selber festlegen können, aber bei einem normalen Hoster würde das bedeuten, die Produkte würden einfach teurer. Weil man sagt einfach so, pass auf, wir leben im Zeitalter des KI-Crawlers. Web-Hosting, wenn du eine Webseite betreiben willst, ist es teurer, weil die Crawler halt alle kommen hier, das kostet jetzt keine Ahnung, einen Euro mehr im Monat oder was auch immer.

48:18 Das ist die einzige Lösung, die ich... Das würden wir genauso machen müssen. Deswegen sagen wir, wir blocken das, was zumindest mal so schlimm ist, dass es uns riesige Probleme macht. Man muss dann sich halt natürlich auch fragen, wie vermittelt man das unseren oder irgendwelchen Kunden, dass sie jetzt mehr zahlen müssen, weil irgendwelche Unternehmen mit sehr, sehr viel Geld, der Meinung sind, ihre Inhalte auch noch kostenfrei, sage ich mal, ohne irgendwelche Vergütung oder sonst was zu nutzen und damit weiter unten Geld zu verdienen.

48:55 Das ist insofern dann natürlich ein ganz interessanter Punkt, wenn man es jetzt mit Unternehmen zu tun hat, die weniger aus dem Web-Hosting-Bereich, sondern eher so aus dem Cloud-Bereich kommen, weil im Cloud-Bereich der Kernpunkt des Produkts eigentlich ist, dass das in alle Richtungen skalierbar ist.

49:13 Beliebig viel Speicherplatz, beliebig viel CPU-Gessourcen, Und da kann es dann möglicherweise auch eine Kostenfalle werden. Also wenn man sich an irgendwelche Newsmeldungen erinnert von Leuten, die irgendwas in der Amazon Cloud oder so gehostet haben und plötzlich kam dann irgendwie so eine 100.000 Dollar Traffic-Rechnung.

49:35 Das ist dann natürlich genau der Punkt, wo wir sagen, naja, wir als Webhoster, wir rufen einen definierten Preis auf, um einen gewissen Umfang an Ressourcen bereitzustellen, der in der Regel für die meisten Websites reicht. Und deshalb ist es ein Problem, wenn jetzt KI-Crawler vorbeikommen und aber das Zehnfache oder das Hundertfache von dem abrufen wollen, was wir an Ressourcen dimensioniert haben.

50:00 Da kann man natürlich dickere Hardware dann einfach hinstellen, um mehr zu beantworten. Aber wie eben schon diese Beispiele von Cloud-Providern zeigen, die rechnen das dann halt eiskalt ab. Die sagen, wir mussten so und so viel CPU-Zeit aufwenden, um diese ganzen Anfragen zu beantworten und das steht jetzt auf deiner Rechnung.

50:19 Da fallen also auch Leute manchmal ganz schön auf die Nase damit. Also das heißt, wirtschaftlich gesehen ist ihr als Hoster, der, ich weiß nicht, ob statische Setups das richtige, aber definierte Setups sozusagen verkauft, das ist erstmal euer Problem, wenn es sozusagen so viel wird. Aber bei der Cloud-Infrastruktur, ich glaube, wir können jetzt nicht ins Detail gehen und Cloud generell erklären, aber sozusagen die eben darauf basiert, dynamisch Ressourcen zur Verfügung zu stellen, wälzen die, wie so oft bei so digitalen Produkten, Plattformbetreiber das Risiko dann auf die KundInnen ab.

50:54 Ja, bei uns ist es dann halt eher so, dass wir sagen, zum Beispiel WordPress und da läuft PHP als Programmiersprache und die kann in unserem Setup bis zu 20 Anfragen gleichzeitig bearbeiten. Das heißt, wenn mehr Anfragen eingehen als diese 20 gleichzeitigen, dann müssen die anderen warten. Effekt für mich als Website-Betreiber ist dann in der Zeit, dann ist meine Website on or offline, wenn gerade ein Crawler vorbeikommt und praktisch die ganzen Ressourcen für sich beansprucht.

51:28 Wir dimensionieren diese 20 parallelen Anfragen eben auf der Basis, dass wir sagen, in der Regel reichen zwei parallele Requests völlig aus, um die Website für tausende von Besuchern verfügbar zu machen. Dann muss 20 ja wohl locker reichen. Dann ziehen wir halt die Grenze, aber diese Grenze wird von KI-Crawlern eben regelmäßig gerissen und dann ...

51:54 Dann stehen wir ja quasi an dem Punkt, dass wir entscheiden müssen, gut, werfen wir da jetzt mehr Ressourcen drauf, die uns niemand bezahlt oder ziehen wir eine Grenze an Ressourcen, die gegenüber unseren Userinnen und Usern heißt, deine Website ist dann jetzt eben weitestgehend offline, weil voll überlastet mit Crawler-Requests und wir gehen eben den Weg, dass wir sagen, wir versuchen, diese Crawler-Requests möglichst so einzudämmen, dass noch alles mit den vorhandenen Ressourcen abgebildet werden kann.

52:24 Mir scheint, das ist jetzt überall der Ansatz, aber vielleicht sollte man hinzufügen, dass die Verantwortlichen, die wir auch mal kurz benennen sollten, nämlich diejenigen, die diese Crawler quasi in Auftrag geben, Probleme natürlich auch erkannt haben. Also wenn sich irgendwie ganz viele Hoster und auch weltweit beschweren, dann geht ja meistens so Prozesse los.

52:46 Also im Sinne von, dass das für die auch zum Problem wird oder im Sinne von, dass die denken, okay, wenn wir für andere Leute ein Problem so groß machen, fällt das irgendwo davon zurück? Ja klar. Die nehmen wahr, dass Leute, mit denen sie auch auf anderen Ebenen ja kooperieren müssen, hier ein Problem sehen und zwar ein größeres.

53:05 Also da ist so ein Box gesagt, der da losgeht. Tatsächlich, also das hat sich jetzt ein bisschen so angehört, als wenn, so richtig haben wir dafür nicht eine Lösung. Obwohl Lea schon so ein paar Andeutungen hatte, wo es vielleicht in Zukunft hingeht. Also einmal diese Lösung, die Cloudware angeboten hat, also da steckt ja eine gewisse Monetarisierung drin.

53:21 Aber zum anderen ist es auch so, dass die großen Konzerne sagen, hey, wir könnten uns quasi ein Update oder eine neue Form von Robots TXT vorstellen, die dann anders heißt. Und auf die einigen wir uns und wir können vielleicht ein bisschen fein granular darstellen, was da drin stehen kann, was soll so ein Bot dürfen, so ein Keycrawler, also die machen ja durchaus Vorschläge.

53:51 Glaubt ihr oder nehmt ihr die überhaupt wahr und glaubt ihr, könnte eine Lösung sein, dass man sozusagen einen neuen Vertrag macht, eine neue Konvention? Also natürlich wäre das schön. Und der Punkt ist, dass es weltweit sehr schwierig werden wird, sich da auf eine Sache zu einigen. Das kriegen wir ja sozusagen, wenn man sich mal die Weltpolitik anguckt, eh immer schlechter hin.

54:20 Und das sind eben auch sehr unterschiedliche Interessen, die dahinter stecken, sage ich mal. Ihr setzt da nicht besonders drauf. Was ist denn mit rechtlich oder regulatorisch? Wäre ja auch eine Lösung. Ich würde gerne nachher noch über die juristische Komponente sprechen. Ich würde vorhin nochmal nachfragen, weil Lea hatte das vorhin so kurz angeschnitten, du hast es gerade auch nochmal kurz aufgerufen, dieses mit der Monetarisierung.

54:43 Ist die Idee, dass man quasi sagt, okay, uns als KI-Crawler klar, dass wir Aufwand verursachen, der irgendwann sozusagen auch wirtschaftlich ist, aber wir profitieren ja auch davon. Das heißt, wir geben für jeden Crawl-Vorgang ein kleines bisschen Geld an wen eigentlich? Die Web-Hoster, die Webseitenbesitzer?

55:03 Ist das die Idee? Ich habe von dem Prinzip noch nie gehört. Kann das einer von euch mal erklären kurz? Die Idee stammt von Cloudflare, glaube ich. Das ist so ein großer, sehr, sehr großer Anbieter der Ursprünglich aus der Idee kommt, sozusagen Schutz vor Angriffen für Websites zu machen und sich sozusagen zwischen die Leute, die auf die Seite zugreifen wollen und den Server schaltet, der die Daten liefert.

55:34 Die sind also schon in dieser idealen Position, um zu sagen, okay, wenn jetzt hier ein KI-Bot kommt, dann melde ich dem, dass die Seite, die hinten dran ist, dafür eine Gebühr möchte. Und dann kann der KI-Bot sozusagen sagen, okay, das ist mir wichtig genug. Ich gebe diesem Zwischenhändler sozusagen ein bisschen Geld, der lässt das dann durch und dann kriege ich als Seitenbetreiber dafür vielleicht ein paar Cent oder so.

56:07 Wenn ich mich bei Cloudfair dafür registriere natürlich nur. Genau, das ist dann einfach nur nochmal wieder ein Business, das sich sozusagen dazwischensetzt und mit dem Problem sozusagen Geld verdient. Das ist keine richtige Lösung für das Problem. Okay. Es ist an der Stelle auch ein bisschen was anderes, weil es an dieser Stelle um eine Monetarisierung der Inhalte geht und weniger darum, für die Nutzung von Ressourcen auch Seiten des Hosting-Anbieters zu kompensieren.

56:37 Denn das ist ein Punkt, der bislang noch relativ kurz nur zur Sprache kam. Das ganze Internet ist ja voller Inhalte, die durchaus einem Copyright unterliegen. Und ich glaube, das ist durchaus auch was, was zumindest bei mir persönlich große Widerstände gegen dieses KI-Crawling auslöst. Wenn ich an meine Anfänge im Internet zurückdenke, an so Geschichten wie Kochbuch oder so, wer sich noch daran erinnern kann. Ja, okay.

57:05 Weiß, wovon ich rede. Aber sozusagen, jetzt sind das so ein bisschen alte Menschen unter sich. Jetzt müsst ihr ganz kurz erklären, was mit Marions Kochbuch auf sich hat. Ich erkläre das. Marions Kochbuch, das war eine Website mit Rezepten. Und bei den Rezepten waren Fotos von dem Essen, das sie gekocht hat.

57:21 Und also diese Fotos haben, ich würde mich mal aus dem Fenster lehnen, keine besonders große Schöpfungshöhe gehabt. Ich mein' da hat man ein Brötchen auf dem Teller. Das sehen Gerichte anders. So, da ist aber eben der springende Punkt. Die Betreiber von Marions Kochbuch haben quasi jeden abgemahnt, der es gewagt hat, dieses Bildmaterial irgendwo zu verwenden, obwohl da wirklich keine große Kunst dahinter stand.

57:47 Also da sind Gerichtsverfahren wirklich wegen Fotos von einem Brötchen auf dem Teller geführt worden und es wurde erbittert um das Urheberrecht gestritten und... Auch wenn das ein bisschen lächerlich sein mag, an der Stelle ist Urheberrecht ja durchaus ein relevantes Thema. Also nicht alles, was auf einer Website steht, ist gleich Public Domain und kann von jedem einfach so benutzt werden.

58:10 Was vielleicht ein bisschen in den seriösen Bereich geht, sind diese ganzen Bilddatenbanken, wo Leute halt Bilder aus Datenbanken verwendet haben, so Stockfotos und dann später irgendwie für unlizenzierte Verwendung abgemahnt worden sind. Da ging es aber auch wirklich darum, dass jemand Rechte an Bildern verkaufen wollte.

58:29 Und jetzt machen wir aber den Sprung zu den KI-Crawlern, die einfach alles, was da ist, legal, illegal, scheißegal, halt einfach alles crawlen und ihre KI-Modelle darauf trainieren und sich, das ist so meine Interpretation, ein bisschen darauf verlassen, dass man denen keine Urheberrechtsverletzung im eigentlichen Sinne nachweisen kann, weil die ja nicht das Bild verwenden, um das zu reproduzieren, weiter zu verkaufen oder wie auch immer, sondern sie verwenden es halt sehr indirekt als Trainingsmaterial.

59:02 Und da kann ich mir jetzt eben vorstellen, dass zum Beispiel Leute, die eine Fotografie-Website betreiben, ich schaue mal zu meiner Kollegin auf die Seite, Dass die ein Interesse daran haben, dass ihre Bilder möglicherweise nicht zum Training von KI-Modellen genutzt werden wollen, Und umgekehrt kann ich aber auch nachvollziehen, gerade wenn man sieht, wer heute irgendwie was googelt, kriegt vor dem ersten Treffer schon mal die KI-generierte Antwort von Google angezeigt.

59:31 Ich weiß nicht, ob das überall schon Default ist. Nein, ist nicht über iDefault. Okay, dann wird es zumindest hier und da so ein bisschen ausgerollt. Aber auf jeden Fall geht es halt in so eine Richtung, dass wir uns, glaube ich, darauf zubewegen, dass konventionelle Suchmaschinen-Ergebnisse ganz massiv an Bedeutung verlieren werden, weil die KI ja schon die, ich sage jetzt mal in Anführungszeichen, die man im Chaos Radio nicht sieht, in Anführungszeichen die richtigen Ergebnisse liefert.

1:00:00 Und wenn das so ist und Firmen Produkte verkaufen wollen, die bisher möglichst hoch bei Google gerankt worden sind, dann wäre sozusagen das übersetzte Interesse ja auch, ich möchte, dass meine Produkte und ihre Beschreibungen und ganz viele positive Reviews in KI-Suchmaschinen auftauchen, damit sie in KI-Antworten dann am Ende auch ihren Platz finden.

1:00:23 Und das ist so gesehen ja auch irgendwie ein legitimes Interesse, das sich aber schlecht abbilden lässt, wenn wir alle noch in dem Straßenkampfmodus sind, dass wir sagen, wir müssen einfach alles wegblocken, was auch nur wie ein Crawler aussieht. Und wir kriegen da durchaus auch nur ganz selten, zugegebenermaßen, aber schon erste Anfragen von Usern, die sagen, finde ich eigentlich gar nicht so toll, dass ihr diese ganzen Crawler wegblockt.

1:00:49 Ich möchte da nämlich in dem Large Language Model gerne vertreten sein mit meinen Informationen. Ich habe dazu gleich eine Detailfrage. Ich will aber eine Sache sagen. Ich glaube, wir schaffen es heute in diesem Chaos Radio nicht, über die urheberrechtliche Perspektive, also sagen die auch von vorne bis hinten aufzurollen.

1:01:07 Ich glaube, da kann man sich darauf zurückziehen zu sagen, die großen KI-Plattformen haben bewiesen in der Vergangenheit, dass ihnen das Urheberrecht egal ist. Also ich glaube sozusagen, es tut mir leid, aber ich glaube, wir müssen diese Auslassung heute machen. Wir sprechen heute vor allen Dingen über die technische Komponente.

1:01:29 Nachfrage bei euch. Ich nehme mir jetzt sozusagen dem, was ihr sagt, auch mit, dass wenn ihr sozusagen die wegblockt, dann blockt ihr die sozusagen für eure gesamte Firma weg und es ist sozusagen schwierig zu sagen, Kunde X, Y und Z wollen keine KI-Crawler, aber Kunde A, B und C würden gerne im Endeffekt sagen, das ist okay.

1:01:49 Es ist halt immer auch für uns eine Frage, wie viele Ressourcen können wir da reinstecken? Also das heißt, technisch ginge ist, das pro Kunde aufzuteilen, aber es wäre dann noch mal aufwendiger. Das ist das Problem? Genau. Also man kann theoretisch das beliebig feingranular machen. Das wird dann halt mit jedem Mal viel, viel aufwendiger und damit natürlich auch viel, viel teurer.

1:02:13 Die eine Frage, die jetzt vielleicht doch ein bisschen so richtig geht, ich weiß nicht, ob Konst da Ahnung hat, ist, inwiefern sich denn eigentlich, Suchmaschinen-Crawler von KI-Crawlern unterscheiden. Oder ob die über dieselbe, also bei KI-Crawlern hat man sich ja drauf geeinigt, sozusagen, da gab es ja auch Leistungsschutzrecht, also Verlage haben ja auch versucht, irgendwie da, Überrechtsdinge über, tatsächlich nicht das Crawlen, sondern das Anzeigen von, Zeitungsschlagzeilen in Google-Suchergebnissen und sagen, ob man da überrechts.

1:02:43 Aber so als gleiche könnte man vielleicht schon jetzt zum Verdacht kommen und sagen, naja gut, aber es ist ja beides irgendwie dasselbe. die wollen das ja wissen, um das dann darzustellen. Oder ist das ein Unterschied? Na, ich glaube, ja, da wird bestimmt auch ganz viel rechtlich noch gestritten werden.

1:03:02 Und man muss sich auch immer klar machen, dass Urheberverwertungsrechte nicht gleich sind. Also wir haben eine andere europäische Tradition als die Armees, wo immer die Konzerne herkommen. Und die Gerichtsverfahren werden gerade da ausgetragen. Und es gibt ja auch schon die ersten Kompensationszahlungen in einem hohen Bereich.

1:03:16 Aber ich würde sagen, edeltrechtlich geklärt ist. was kommen wird, ist man ja trotzdem technisch erstmal vor dem Problem. Und deswegen glaube ich, dass die Zwischenlösung, bevor sich da vielleicht nach vielen Jahren zahlreiche, detaillreiche rechtliche Regelungen ergeben haben, doch eher sein wird, dass man sich auf eine Nachfolge der Robots-TXT eidigen wird.

1:03:38 Und das wird man wohl auch im Einvernehmen mit den technischen Konzernen machen, dass man die Vorschläge, die die Tech-Companies wie Microsoft oder so selber reingeben in diesen Prozess, dass man die annimmt, das wird es wohl nicht sein. Aber dass man in der Zwischenzeit, bevor da irgendeine Form von wetterfester rechtliche Regelung gibt, das kann ja ewig dauern, wird das wahrscheinlich eher auf sowas hinauslaufen. Denn die zeigen ja ein bisschen entgegenkommen.

1:04:05 Außerdem, also was ihr beiden jetzt so ein bisschen ausdrückt, ist für mich eigentlich typisch für die ganze technische Community. Es gibt eine große Skepsis gegenüber dem Verhalten dieser Konzern und damit auch ihrer Crawler. Das ist eigentlich ja auch ein guter Anfangspunkt, um so eine Debatte zu führen.

1:04:28 Denn die technische Community, die mit den Auswirkungen und den Ärgernissen zu tun hat, die sind ja nun nicht gerade Joachim Sassar, der Rest der Welt schon. Aber die, die sozusagen mit der bad side und dem bad stuff von diesem KI-Hype zu tun haben, sind eben nicht so begeistert. Und ich glaube, deswegen wird das eher so eine Zwischenlösung sein.

1:04:47 Rechtlich würde ich mich da auf gar nichts verlassen. Also wie gesagt, ich vermute, dass es auch einfach eine Zwischenlösung geben muss, weil sich die KI vielmehr sozusagen ihr Geschäftsmodell erhalten wollen. Und das basiert darauf eben, dass sie nicht überall geblockt werden. Ich sollte vielleicht mal sagen, wie so ein Prozess laufen soll.

1:05:08 Also der ist ja nicht abgeschlossen, aber es gibt ja internationale Journalisierungs- und Normungsinstitutionen, wie zum Beispiel die IETS. und die überlegt zum Beispiel gerade jetzt in diesen Tagen darüber, ob sie so einen Nachfolger etabliert. Der hat so ein ganz langer partizipativer Diskussionsprozess, der dann am Ende vielleicht zu irgendwas führen wird.

1:05:27 Denn irgendwas, was global funktioniert oder zumindest halbwegs global, müsste es ja sein. Und da schieren jetzt gerade so alle drauf. Ich habe doch noch, mir geht ja um den Kopf, doch noch vielleicht eine kleine rechtliche Frage. Und die beginnt erst mal mit einer DDoS-Attack. Es gibt ja es gibt ja also einen Angriff eine Webseite außer Betrieb zu setzen, indem man einfach so viele Angriffe, Abfragen sozusagen auf der Webseite durchführt dass die nicht mehr hinterherkommt und dann kaputt ist weiß jemand von euch ist es, wir können jetzt in Deutschland sagen ist das eine Straftat, ist das ein Cybercrime eine DDoS-Attacke ist Sabotage ist Sabotage sozusagen, Und wenn eine DDoS-Attacke Sabotage ist, müsste dann nicht eigentlich ein KI-Crawler,

1:06:19 der gegen die Robots TXT verstößt, auch ein Cyber-Verbrechen sein? Ich würde sagen nicht, denn die Robots TXT ist tatsächlich eine Konvention. Die ist ja kein Vertrag oder so. Aber natürlich würde ich mir manchmal wünschen, dass besonders Betroffene, die sehr viel Aufwand haben, dass die es auch mal rechtlich klären würden.

1:06:38 Das wäre schon toll, aber das wird jetzt nicht Uberspace sein, die sozusagen da den Kampf aufnehmen. Das ist richtig. Und... die rechtliche Komponente davon finde ich auch insofern relativ schwierig, weil die in der Praxis kaum durchgesetzt wird. Denn was wir bei DDoS-Attacken halt in der Regel überhaupt nicht haben, ist irgendeine Attribuierung dessen, den wir dafür jetzt anzeigen können.

1:07:07 Die kommen ja von Hunderttausenden von IP-Adressen, vielleicht noch mehr. Und wen will man da anzeigen? Also da kann man natürlich Anzeige gegen Unbekannt erstatten. Ich habe das in meiner Vergangenheit so oft gemacht, was dann zu schon wieder Verfahren eingestellt, weil ein Täter nicht ermittelt werden konnte, geführt hat, dass sich das für mich inzwischen innerlich, obwohl es natürlich eine Straftat ist, eine DDoS auszuüben, aber das habe ich innerlich völlig aufgegeben, sowas verfolgen zu wollen.

1:07:38 Ich hatte jetzt sozusagen in meinem Gehirn mit wirren, also in meinen Gehirngängen mit wirren Gedanken hatte ich so, man baut so einen Labyrinth und darin versteckt man eine ganz spezifische, eineindeutige Information und die taucht dann irgendwann in dem Chatbot auf, der dieses Labyrinth bereist hat, und dann kann man also attribuieren, also kann sagen, du warst bei mir, sonst hättest du diese Information nicht, weil die haben wir nur für dich gebaut und man weist dann den wirtschaftlichen Schaden nach, der sozusagen natürlich entstanden ist und deswegen war das gut.

1:08:14 Das ist immer so ein Wunsch, manchmal denke ich so, ich kann das Rechtssystem doch Dinge machen, aber es ist natürlich... Es ist ein interessanter Gedanke, wobei ich schon sagen würde, rein technisch ist eine DDoS-Attacke von einem KI-Crawler kaum bis gar nicht zu unterscheiden. Die Unterscheidung liegt halt tatsächlich in der Intention, die dahinter steht, dass der KI-Caller natürlich immer sagen wird, wir wollten doch nur das Beste, wir wollten doch nur deine Informationen, damit wir in unseren tollen Antworten immer auf dich hinweisen konnten.

1:08:47 Wie will man das nachweisen am Ende? Ich habe eigentlich, ich hätte noch so eine Abwehrfrage an Lea, die damit zu tun hat, wie wir diese Chaos Radio mal gestartet haben. Ich hatte nämlich am Anfang überlegt, naja, wen könnte man fragen, irgendwie so bei diesen Crawlern und der Abwehr. Und da dachte ich natürlich auch gleich an Chaos Social und hatte Rix und Lea angefragt.

1:09:09 Und Lea meinte dann zu mir, ja nö, also bei Chaos Social haben wir eigentlich ja kein Problem. War das denn sozusagen, war das denn tatsächlich der Unterschied, wenn du, also wir waren nicht ganz klar, warum eigentlich. Ja, warum hat ein Hoster-Problem, aber ihr könntet mit den Zugriffskontrollen und Plakaden eigentlich ganz gut lösen bei Chaos Social. Was ist sozusagen der Unterschied?

1:09:32 Genau, das ist nämlich der größte Unterschied, warum wir kein so großes Problem haben. Wir blockieren einfach viel, viel extremer. Achso, und das würden natürlich Kunden, achso. Genau, bei uns gibt es wachsende Listen im Internet mit den ganzen User Agents und sonstigen Netzen, von denen diese KI-Bots kommen.

1:09:52 Und bei Cross-Social sagen wir einfach, wir werfen die alle da rein und eine Anfrage davon reicht und dann bist du dauerhaft gesperrt. Ja, okay, achso. Das können wir bei Uberspace nicht machen. Weil A, gibt es da zu viele False Positives im Zweifelsfall. Zum anderen, hat man ja auch schon erwähnt, es gibt dann doch KundInnen, die dann doch irgendwie möchten, dass die KI darauf zugreift oder dass sie die Seite zusammenfassen kann oder Sonstiges.

1:10:20 Und bei Chaos.storstl können wir da einfach viel rigoroser damit umgehen. Auch, weil wir eben ja nur eine sozusagen, sozusagen Applikationen da laufen haben und nicht hunderte verschiedene. Das heißt, es ist viel einfacher, diese eine Seite zu schützen, als diese ganze diverse Technologieplattform, das, was so bei einem Host da letztlich landet.

1:10:45 Ah, okay, das ist eigentlich auch, wenn du jetzt so erklärst, wie mich selbstverständlich. Also Carosocial, eine Mastodon-Instanz, die, also kann man da, jetzt noch eine Neugierfrage, kann man da ganz viel auch schon machen, dadurch, dass man einfach sagt, wenn du keine Mastodon-Instanz bist, die bei uns zugreifen, dann sind wir erstmal skeptisch, weil dann bist du wahrscheinlich ein KI-Crawler.

1:11:07 Weil ganz viel Traffic... Es greifen ja auch die ganzen Leute, die diese Plattform nutzen, darauf zu. Es sind ja nicht nur die Mastodon-Instanzen untereinander. Also die User, vergiss mal nicht die User. Aber wenn, Es führt zu weit, das muss ich vielleicht mal so sagen. Ja, also ich kann dir sagen, es gibt da auch Sachen, also zum Teil sind da Verbindungen zwischen Instanzen signiert und authentifiziert und so weiter.

1:11:36 Also da gibt es schon Techniken, die das so ein bisschen einschränken zumindest. Glaubt ihr, dass, also wenn wir ein bisschen zum Webhosting zurückgehen, es gibt ja sozusagen Webhosting, also Software, die man benutzen kann, wenn man selber eine Webseite betreiben will, zum Beispiel sowas wie ein WordPress eben, wahrscheinlich für die vielsten, das einfachste Beispiel.

1:11:54 Glaubt ihr, man könnte da sozusagen so Plugins irgendwie anbieten? Anti-KI-Crawler-Plugins, die dann so nicht tagesaktuell sind, aber so halbwegs Stand der Technik, falls man das nicht will? Also das gibt es zum Teil schon. Zum Teil gibt es eben, hatten wir ja vorhin schon erwähnt, diese Tools, die dann so eine kleine Rechenaufgabe geben.

1:12:17 Das hält das Ganze auch deutlich zurück. Also da gibt es schon Möglichkeiten. Es wird auch, sage ich mal, jetzt dadurch, dass das Problem eben größer wird, dass das ein bewusstes Problem wird, das dauert natürlich immer dann, bis da die Communities irgendwie was auch entwickelt haben. Aber ich gehe davon aus, dass es da auch die ersten Sachen schon als Implementierung auch für WordPress oder so gibt.

1:12:39 Das klickt bei WordPress natürlich auch einer derjenigen war, die wegen der weiten Verbreitung als erstes stark betroffen war und viele, die das eben selber betreiben, wollten das, waren die mahnt. Das ist schon länger. Ich bin anscheinend auch nicht sozusagen daran kaputt gegangen, muss ich mal nachgucken. Jonas?

1:12:56 Das ist schön und gut, dass es das gibt. Es kommt aber in dem gesamten Stack aus dem Web-Server-Frontend und dann kommt PHP ins Spiel und dann wird WordPress-Code geladen. Da kommt es halt erst relativ spät in diesem ganzen Stack zum Einsatz. Das heißt, je nachdem, wie viele Anfragen da so reinprasseln, dringen die schon so weit vor, dass sie trotzdem schon ein Problem darstellen, selbst wenn dann am Ende dieses WordPress-Plugin sagt, dass es dazu gerne keine Antwort geben möchte.

1:13:27 Also es wäre schon sinnvoller, weiter vorne in dem Stack anzusetzen. Außerdem ist es was, was uns als Hoster, wenn Crawler vorbeikommen, die unsere Infrastruktur insgesamt überlasten, dass halt nicht nur die eine Website betroffen ist, wo wir im Zweifelsfall sagen würden, naja, dann ist halt die eine Website tot.

1:13:46 Können wir jetzt nichts machen. Aber für uns sind natürlich eben auch gerade Lösungen relevant, die wir in dem Stack so weit vorne schon einsetzen können, weil wir ja nicht in die Websites unserer User eingreifen können und Leuten irgendwie sagen können, hey, dein WordPress war offline, weil so ein Crawler vorbeikam.

1:14:04 Wir haben dir da mal so ein Plugin installiert, um das abzuhalten. Aber im Zweifelsfall sind halt wir diejenigen, die um die Uhr einen Alarm abkriegen, weil irgendwo ein Web-Server nicht mehr performant antwortet und suchen insofern nach den technischen Lösungen, die wir schon eine, mindestens eine Ebene drüber einsetzen können.

1:14:22 Ich meinte das sozusagen wirklich eher für, also aus Konsumentinnensicht, also so jemand wie ich, ich bin ja kein Web-Hoster, aber sozusagen macht es, oder ich kann es ja mal direkt fragen, so würdest du, ich bin nicht bei euch, aber wenn ich bei euch wäre, würde ich dann sagen, nee, lieber nicht das Plugin installieren oder ist das sozusagen so ein kleines Ärgernis, ein kleines Sandkorn im Getriebe der KI-Crawler?

1:14:43 Es ist ein kleines Sandkorn, das ist das eine und wir arbeiten allerdings auch daran, dass zum Beispiel manche dieser Tools, die dann für diese kleine Berechnung vorne dran schalten kannst, dass wir sozusagen dir sehr simpel mit einem Klick, sag ich mal, oder einem einfachen Befehl ermöglichen, das möglichst früh vorne dran einzusetzen, damit du das dann nicht irgendwie komplett technisch verstehen musst, wie das einzurichten ist, sondern wir dir da schon helfen.

1:15:08 Aber ist es dann auch deine Entscheidung als Kunde, das ist doch eigentlich eine gute Sache, das würden doch diejenigen begrüßen, das sollte man dir vielleicht auch mal sagen, das ist ja nicht jeder irgendwie KI-kritisch, sondern es gibt ja auch Leute, die... Das ist immer so eine Bubble, in der wir leben, die haben irgendwie alles Skepsis.

1:15:25 Also, ganz kurze Seitenstraße, ich finde tatsächlich sozusagen an der Art und Weise, wie die großen KI-Unternehmen in der Welt agieren auch problematisch. Also Lea hat ganz am Anfang gesagt, du sagst jetzt KI, aber KI meint ja heute das, aber es gibt noch viel mehr. Und ich finde, ich bin ja sozusagen tendenziell eher Technikfreund und ich komme gar nicht dazu, darüber nachzudenken, was könnte man denn damit Fröhliches oder Optimistisches machen, weil man die ganze Zeit damit beschäftigt ist, irgendwie gegen diesen Mist anzukämpfen, der da gibt.

1:16:01 Also wie gesagt, es ist halt eine Bubble, die sowas denkt und es ist halt nicht weit verbreitet, aber ich glaube schon, es ist so oder ich wünschte mir manchmal zu sagen, dass sie mehr realisieren, dass sie auch so ein bisschen ins eigene Knie schießen, wenn man die Welt sozusagen so krass übernimmt.

1:16:15 Aber hey, Kapitalismus, was kann man anderes machen? Vielleicht um deiner Seitenstraße ganz kurz noch ein Stück zu folgen. Man muss natürlich auch sagen, neben KI-Bots gibt es auch noch jede Menge andere Bots, die dann wirklich nur noch bösartig sind und versuchen irgendwie Angriffe auszuführen und so weiter, die dann auch Probleme machen.

1:16:33 Und da kann man schon so, Was wir im Schnitt sehen, sagen, wir sind schon je nach Seite, sage ich mal, wenn es eine kleine Seite ist, vielleicht anteilig mehr, wenn es eine große Seite ist, mit vielen Anfragen ist vielleicht weniger, schon so bei, sagen wir mal, so zwischen 30 und 70 Prozent aller Anfragen, im Schnitt vielleicht so 50, sind inzwischen von Bots.

1:16:54 Und ja, das ist halt, auch wenn wir wieder auf dieses Thema Nachhaltigkeit und so weiter zurückgehen. Vielleicht auch nicht so sinnvoll, wenn 50 Prozent der Leistung, die da alle bereithalten, nur dafür ist, dass die sich untereinander sinnlos unterhält und gar nicht wirklich was Wertschöpfendes macht.

1:17:14 Was meinst du mit bösartige Bots? Also Bots, die versuchen, die Webseite kaputt zu machen oder anzugreifen oder zu übernehmen? Ja, genau. Okay. Genau. Toll. Fantastisch. Da habe ich mir bis jetzt gerade keine Sorgen drüber gemacht. Gut, dass ich das jetzt auch weiß. Ich würde gerne noch einen Gedanken dazu einbringen, weil es ja auch gar nicht, wir nehmen das so als gegeben hin, dass KIs dadurch lernen, dass sie Crawler losschicken, die das Internet abgrasen nach Informationen und sich dabei, Copyright-Thema wollten wir außen vor lassen, aber die sich blöd, simpel gesagt nicht ums Copyright scheren.

1:17:49 Das ist ja einfach nur so, weil sich die großen Tech-Konzerne das so ausgedacht haben. Man könnte ja im Prinzip auch ganz andere Ansätze fahren, so wie jeder, der irgendwie ein Buch veröffentlicht, eine Kopie an die Deutsche Nationalbibliothek geben muss beispielsweise, könnte man ja das ganze System auch ganz auf den Kopf stellen und könnte sagen, wenn ich Inhalte habe, die ich gerne in KI-Sprachmodellen sehen will, dann gibt es für mich eine Möglichkeit, wo ich die da reinkippen kann.

1:18:16 Und dafür muss man nicht zehnmal am Tag bei mir vorbeikommen und gucken, ob vielleicht da was Neues steht, sondern wenn was Neues steht, dann werfe ich das da ein. Aber da gehe ich davon aus, dass die großen Anbieter davon ausgehen, dass sie da nur ein Promille, wenn überhaupt, des ganzen Contents kriegen würden und dass es für sie die sehr viel leichtere Möglichkeit ist, mit ganz vielen technischen Ressourcen einfach zu sagen, ey, wir machen, was wir wollen.

1:18:41 Vor allem reicht es dann im Zweifelsfall auch einfach nicht, um diese Modelle ausreichend gut zu trainieren. Ich habe gerade überlegt, ob vielleicht noch eine andere Möglichkeit ist, wie das KI-Crawler-Problem sich erledigt, dass irgendwann alles, was es früher gab, gecrawled ist. Und immer mehr vom Web ist ja auch KI-generierter Content, Slop, wie wir das in unserer Bubble zu bezeichnen kriegen.

1:19:04 Also ob deswegen das vielleicht KI-Crawling total überflüssig wird, weil man sich dadurch Labyrinth hin oder her so viel Mist einhandelt, dass es gar keinen Sinn mehr macht. Also ich habe da so meine düstere Zukunftsfantasie. Oh no! Welche? Also zum einen wird eben das Problem sein, dass es irgendwann einfach so viel von diesem Slope auch da ist, dass es auch immer aufwendiger wird, das auseinanderzuhalten und das eben die Modelle im Zweifelsfall kaputt macht.

1:19:36 Beziehungsweise man das dann nur noch auf dem alten trainieren kann. Und was ich da tatsächlich vielleicht sehe, auch in der Hinsicht, dass jetzt diese KI-Unternehmen ihre eigene Browser starten und so weiter, dass langfristig vielleicht auch darauf hinausläuft, dass genau die Firmen, die das Internet aktuell vollmühlen, nenne ich es mal, dir dann einen gefilterten Zugang anbieten, der diesen Müll wegfiltert, damit du überhaupt noch was Realistisches findest. Natürlich gegen eine kleine Gebühr.

1:20:03 Es sieht eigentlich gar nicht so aus. Der erste Browser, was die Browser nennen, was eigentlich ja kein Browser ist, den die jetzt vorgestellt haben, der ist eigentlich ein Closed System. Der hat gar keinen Links. Der will gar nicht mehr die Leute ins Netz leiten. Da bleibt man quasi drin. Da kriegt man immer nur AI-Antworten.

1:20:19 Genau, muss ich vielleicht kurz sagen. Also der neue Trend bei KI-Anbietern ist einen eigenen Webbrowser auf den Markt zu bringen. Also das ist zumindest zu verkaufen. Ich glaube perplexig, wie waren die ersten. OpenAI hat jetzt irgendwie auch nachgezogen. Und das Versprechen ist halt, dann bist du im Internet und dann ist die KI immer gleich da.

1:20:36 Aber du kriegst da keine Links. Ich habe neulich den ersten Review davon gelesen, da hat jemand einen populären Popstar Taylor Swift irgendwie eingetippt, aber er kam nie auf die Webseite von Taylor Swift. Also das bleibt dann alles unter sich mit generiertem Content. Ich habe von Theresa Hannig, einer Schriftstellerin gerade, die schreibt eine Kolumne für die Taz und hat das als Buch ausgemacht übermorgen.

1:21:00 Und da gibt es unter anderem sozusagen, sie ist für optimistische Utopien zuständig. Da gab es unter anderem die Geschehen, die sagen, also in der Zukunft wird es dann so sein, es gibt halt zwei Internets, nämlich das, was wir jetzt kennen, was dann sozusagen verbottet ist und dann gibt es aber noch ein zweites, da sind nur Menschen unterwegs, also da gibt es sozusagen nur wirklich, wenn du da kein human, organic grown human bist, dann darfst du da nicht rein.

1:21:24 Das fand ich sehr interessant, weil ich das sage. So, aber, Also um zum Abschluss zu kommen, es gibt momentan für die, also es gibt eigentlich nichts zu tun als Mensch, der nicht bei einem Hoster arbeitet oder so. Es gibt gerade keine Demonstrationen, kein Ding, was man machen kann, sondern momentan haben wir heute viel gelernt, wie das funktioniert und was das Problem ist.

1:21:51 Aber im Prinzip heißt es für die meisten normalen Menschen abwarten. Also normalen Menschen im Sinne von, normal ist immer so ein Scheißwort, Entschuldigung. Also für die Menschen, die sich nicht beruflich oder als berufende Hobbyisten mit dem Thema beschäftigen, sondern die quasi ein Leben haben, wo die Digitalität Alltag ist, die aber nicht tiefer den Themen drinstecken.

1:22:10 Man kann momentan nur warten. Man kann dem Ganzen ja auch kaum ausweichen. Das ist ja das Schwierige. Ja, also ich würde jetzt schon mitnehmen, von dem, was ihr sagt, manchmal ist es ja so ein bisschen Panik im Netz. Ich habe schon den Eindruck, dass ihr das Problem beherrschen könnt. Es nervt halt und es frisst Ressourcen, aber ihr könntet erstmal beherrschen.

1:22:30 Das ist jetzt mein Eindruck. und das andere ist, ich würde zurückspielen. Also ich meine, jeder, dem KI aufgedrängt wird und der KI nutzt, muss halt im Hinterkopf haben, dass man übrigens auch noch dieses Ärgernis damit in die Welt lässt. Also letztlich, das passiert ja nicht, sondern es sind ja Menschen, die das tun.

1:22:48 Sowohl die Nutzer wie auch die Anbieter. Insofern, man kann nicht für den Anbieter zurückspielen, die es nutzen. Also es ist ja nicht nur, dass es Energie verbrennt wie Blöde, sondern es nervt oben meine freundlichen Hoster von dem an. Und zwar alle. Das und man kann sich ja natürlich auch überlegen, ob die Unternehmen vielleicht auch so sympathisch sind, die das betreiben.

1:23:08 Die Beurteilung überlassen wir dann ganz vorurteilsfrei euch, liebe HörerInnen. Jonas und Lea, vielen lieben Dank, dass ihr heute da wart und uns mal ausführlich erklärt habt, was das Problem ist und was man nicht machen kann. Das war für mich zumindest sehr lehrreich. Dankeschön. Sehr gerne. Und vielen Dank, Conz.

1:23:29 Tschüss, bis nächstes Mal. Und mir bleibt nur noch eins zu sagen, lasst euch nicht überwachen, auch nicht durch KI-Crawler und verschlüsselt immer schön eure Backups. Tschüss.