#137: Rückfallprognose per Software

0:07 Hallo und herzlich willkommen bei Digitale Anomalien. Mein Name ist Wolfgang Schoch und in diesem Podcast erzähle ich Geschichten von Computern und Katastrophen und von allem, was irgendwo dazwischen stattfindet. Hier geht es um die wunderbare Welt der Technik und um all die Geschichten von Fehlern und vom Scheitern.

0:25 In der heutigen Folge Nummer 137, da geht es um das hohe Gericht und um die Frage, wie gut man eigentlich die Rückfallwahrscheinlichkeit von straffällig gewordenen Menschen vorhersagen kann. Wir sind in Washington im Jahr 2054. Die Polizei verhaftet Menschen für Morde, die diese noch gar nicht begangen haben.

0:48 Möglich machen das drei Menschen mit hellseherischen Fähigkeiten, die sogenannten Precogs. Der Name stammt von Precognition, also sinngemäß so viel wie vorherige Wahrnehmung. Und dabei handelt es sich natürlich um die Geschichte von Minority Report aus dem Jahr 2002. Das ist ein Film von Steven Spielberg und die Hauptrolle spielt Tom Cruise.

1:12 Die Vorlage zu diesem Film ist allerdings noch ein ganzes Stück älter. Dabei handelt es sich nämlich um eine Kurzgeschichte von Philip K. Dick aus dem Jahr 1956. Im Film heißt dieses ganze System Pre-Crime, also Verbrechen verhindern, bevor die passieren. Und natürlich ist das philosophisch und ethisch auch eine ziemlich spannende Frage, ob man überhaupt für eine Tat schuldig sein kann, die man noch gar nicht begangen hat.

1:39 Wie gesagt, heute ist das noch Science-Fiction, aber es gibt Entwicklungen, die zumindest ein bisschen in diese Richtung gehen. In den USA wird nämlich bei Menschen, die schon mal mit der Justiz zu tun hatten, längst ausgerechnet, wie wahrscheinlich es ist, dass diese Leute wieder straffällig werden.

1:56 Und die bekannteste Software dafür, die heißt Compass. Und die Frage ist jetzt natürlich, wie sieht das in der Praxis aus? Und dafür gehen wir nach Wisconsin. Im Februar 2013 in Barron County in Wisconsin, da steht Paul Silly vor Gericht. Paul Silly ist Bauarbeiter und der hat einen Rasenmäher und einige Werkzeuge gestohlen.

2:20 Das ist kein Kavaliersdelikt, aber jetzt auch kein richtig großes Kapitalverbrechen. Die Staatsanwaltschaft und die Verteidigung, die haben sich damals schon geeinigt und der Paul Silly, der soll ein Jahr im Bezirksgefängnis bekommen und danach unter Aufsicht gestellt werden. Und an der Stelle brauchen wir, glaube ich, einen ganz kurzen Exkurs zum amerikanischen Strafsystem.

2:42 Mir war nämlich bisher auch nicht so ganz klar gewesen, dass es einen Unterschied zwischen Jail und Prison gibt. Für mich war das beides irgendwie synonym für Gefängnis. Aber das stimmt nicht. Das Bezirksgefängnis, das ist auf Englisch das Jail und das ist für eher kurze Strafen gedacht. Und wenn man jetzt länger einsitzt, dann kommt man ins Staatsgefängnis und das ist das Prison.

3:06 Aber zurück zu Paul Silly. Der Richter in dieser Strafsache, das war damals James Babler, der schaut sich vor dem Urteil noch eine Auswertung der Software Kompass an. Und in dieser Auswertung, da befinden sich verschiedene Zahlen und Balken. Und diese Software, die stuft jetzt Silly als hohes Risiko für Gewalttaten ein und als mittleres Risiko für so eine allgemeine Rückfälligkeit.

3:32 Und der Richter sieht das und er kippt jetzt die Einigung, die es schon zwischen der Verteidigung und der Staatsanwaltschaft gab. Und statt diesem einen Jahr im Bezirksgefängnis gibt es für Paul Silly jetzt zwei Jahre im Staatsgefängnis. Silly geht in Berufung und bei diesem Berufungsverfahren gibt es jetzt einen Zeugen und das ist der Mann, der die Software mitentwickelt hat.

3:53 Und zwar ist das Tim Brennan, der ist Statistiker und Mitgründer von der Firma Northpointe. Brennan erklärt, dass die Software eigentlich gar nicht für Gerichte gedacht ist, sondern für Gefängnisse und vielleicht auch für Bewährungshelfer. Und da soll die Software helfen, die Betreuung und die Behandlung zu planen.

4:13 Also beispielsweise darüber zu entscheiden, ob jetzt jemand Freigang kriegt oder ob es jetzt eine strafmildernde Geschichte irgendwie gibt. Am Ende von diesem Berufungsverfahren wird die Strafe von Silly auf 18 Monate reduziert. Der Richter sagt später übrigens, dass er ohne die Software übrigens auch genau diese 18 Monate gegeben hätte.

4:35 Der Einsatz von Kompass hat Paul Silly also fast ein halbes Jahr Knast gekostet. Und das ist schon spannend, denn auch wenn die Software zum Glück nicht vollautomatisch läuft und selbstständig Urteile fällt, so hat sie als Werkzeug natürlich schon einen Einfluss darauf, wie ein Urteil ausfallen kann.

4:52 Auch wenn die Software dafür eigentlich gar nicht gedacht ist. Und der Silly, der ist kein Einzelfall. Im gleichen Jahr, also 2013, da steht in Wisconsin Eric Loomis vor Gericht. Der wird im Zusammenhang mit einer Schießerei verurteilt und auch bei Loomis zeigt die Software hohe Werte an. Und der Richter, der erwähnt es auch ausdrücklich in seiner Begründung zum Urteil.

5:17 Loomis wird zu sechs Jahren Haft plus fünf Jahren Aufsicht verurteilt. Und Loomis, der klagt auch dagegen und er hat verschiedene Argumente und eines finde ich ganz spannend, denn Loomis sagt, er kann ja gar nicht überprüfen, wie diese Beurteilung zustande kommt, weil die Software proprietär ist. Also die Algorithmen, die da verwendet werden, die sind Geschäftsgeheimnis und so ist es überhaupt nicht überprüfbar, wie da überhaupt eine Zahl zustande kommt.

5:43 Der Fall von Loomis, der wird jetzt vom Berufungsgericht direkt an den obersten Gerichtshof von Wisconsin weitergeleitet. Und Loomis versuchte später sogar noch beim obersten Gerichtshof der USA, also beim Supreme Court. Und wie die Geschichte ausgeht, das erzähle ich euch am Ende der Folge. Also dranbleiben. Zunächst einmal ist nämlich eine andere Frage wichtig.

6:04 Warum wollen Gerichte so eine Software überhaupt haben? Und damit kommen wir zurück zu COMPASS. COMPASS steht für Correctional Offender Management Profiling for Alternative Sanctions. Puh, ziemlich sperrig. Und COMPASS, das ist ein Werkzeug, das einschätzt, wie wahrscheinlich ein Mensch wieder straffällig wird.

6:25 Entwickelt wurde Kompass ab Ende der 1990er Jahre von der Firma Northpoint. Und die Versprechen von Kompass, die klingen erstmal ganz gut. Gerichte sind überlastet und eine Software, die kann Arbeit abnehmen. Menschen, die urteilen teils nach Bauchgefühl. Eine Software, die ist objektiv und damit gerecht für alle Leute.

6:45 Und zu dem Punkt gibt es übrigens eine ganz spannende Studie. Und die stammt aus dem Jahr 2011 und die beschreibt den sogenannten Hungry Judge Effekt, also den hungrigen Richtereffekt. Untersucht wurden damals israelische Bewährungsausschüsse, also keine Strafrichter, und die sollen laut dieser Studie nach dem Mittagessen häufiger positiv entschieden haben.

7:08 Die Studie, die ist ziemlich berühmt, aber auch ziemlich umstritten. Und wenn man sich mit dieser Thematik beschäftigt, dann stößt man zwangsläufig irgendwann mal auf diese Studie. Deswegen wollte ich sie kurz ansprechen. Doch zurück zu den Versprechen von KOMPASS. Wenn die ganzen Versprechen von KOMPASS stimmen, dann ist das ja prinzipiell für die betroffenen Personen und für den Staat gut.

7:30 Denn der Staat, der kann Geld sparen, weil weniger Leute im Gefängnis sind und die betroffenen Personen, die deswegen nicht oder nur kürzer ins Gefängnis müssen, naja, die bekommen mehr Freiheit. Aber das Ganze hat natürlich auch eine Kehrseite. Denn ein hoher Score bei KOMPASS, der kann sich natürlich auch darauf auswirken, dass man jetzt beispielsweise länger ins Gefängnis muss, weil KOMPASS denkt, man hat ein hohes Rückfallrisiko, obwohl man vielleicht nie wieder rückfällig wird.

7:58 Oder der hohe Score kann dazu führen, dass man in Untersuchungshaft bleiben muss bis zu einem Urteil. Aber wie sieht das jetzt in der Praxis aus? Wird das so eine Software wie Kompass wirklich ganz neutral als Werkzeug verwendet, um dann mit Hilfe von diesen Informationen Entscheidungen zu treffen oder verlässt man sich da vielleicht doch ein bisschen zu stark drauf?

8:19 Der Fall von Silly vom Anfang, der hat ja schon gezeigt, dass solche Bewertungen das Urteil von einem Richter beeinflussen können. Und ganz egal, wie gut so eine Prognose ist, die von so einem Algorithmus berechnet wird, am Ende ist natürlich vor allem wichtig, was man damit macht. Und an der Stelle kommt der Mensch ins Spiel.

8:39 Es gibt Studien, die zeigen, dass Richter solchen Bewertungen oftmals gar nicht blind folgen. Die folgen diesen Bewertungen vor allem dann, wenn die Zahl das bestätigt, was sie sowieso denken. Und das ist vielleicht ein kleines bisschen, wie wenn ihr mit einem Auto unterwegs seid, ihr habt das Navi laufen und ihr fahrt eine bekannte Strecke.

9:00 Und das Navi, das läuft halt wegen den Verkehrsinformationen. Wenn euch das Navi jetzt einen Weg vorschlägt, den ihr kennt, dann folgt ihr dem Vorschlag wahrscheinlich. Wenn euch das Navi jetzt aber einen Weg vorschlägt, den ihr nicht kennt oder der euch irgendwie abwegig vorkommt, dann werdet ihr diesem Vorschlag wahrscheinlich nicht direkt folgen. Ihr werdet drüber nachdenken, ihr zweifelt es vielleicht an.

9:24 Und ich glaube, damit lässt sich das ganz gut vergleichen, was jetzt bei diesen Richterinnen und Richtern auch passiert. Wichtig ist an der Stelle natürlich auch die Frage, woher bekommt KOMPASS jetzt eigentlich diese Zahl? Am Anfang von der ganzen Berechnung, da steht ein Fragebogen mit sage und schreibe 137 Fragen.

9:46 Ein Teil von diesen Fragen wird mit Daten aus der Akte beantwortet. Also da fließen Dinge ein wie Vorstrafen oder frühere Festnahmen. Ein Teil wird im Gespräch erhoben, so Dinge wie aktuelle Wohnsituation, Job, Drogen etc. Und dazu kommen noch so zusätzliche Informationen wie saß bereits ein Elternteil im Gefängnis, wie viele der Freunde nehmen Drogen und so weiter.

10:11 Also 137 Fragen, das ist eine ganze Menge. Und die eigentliche Prognose, die dann erstellt wird, die stützt sich aber nur auf den Teil davon. Und darunter sind so Informationen wie das Alter, das Alter bei der ersten Festnahme und die Zahl früherer Festnahmen. Aber es werden keine Merkmale wie beispielsweise die Hautfarbe verwendet.

10:34 Aus diesen ganzen Daten berechnet die Software jetzt einen individuellen Wert für die betreffende Person. Und dieser Wert, das ist eine gewichtete Summe. Das bedeutet, es werden einzelne Werte zusammengezählt und manche davon, die zählen jetzt mehr als andere. Also beispielsweise könnte das so aussehen, dass man jetzt das Alter nimmt der ersten Festnahme und sagt, okay, das ist ziemlich wichtig, das multiplizieren wir jetzt mit 5.

11:00 Und die Information, ob jemand einen Job hat, die ist auch wichtig, das multiplizieren wir jetzt mit 3 und so weiter und so fort. Das bedeutet, manche Informationen, die da jetzt reinfließen in diesen Wert, die sind eben wichtiger als andere. Ich habe früher im Bereich Suchtechnologie gearbeitet und da haben wir auch dieses Prinzip angewendet.

11:20 Da konnte man bei Dokumenten beispielsweise sagen, die Worte, die in der Überschrift stehen, die sind doppelt so wichtig wie die Worte, die jetzt im Text stehen. Und im Text konnte man sagen, okay, alle Überschriften, die sind 1,5 mal so wichtig wie die Absätze. Und dadurch konnte man dann eben auch so eine gewichtete Summe erstellen und am Ende berechnen, was für eine Aussagekraft hat jetzt irgendwie ein Dokument.

11:44 Ja, und so ähnlich ist es hier jetzt eben auch. Die ganzen Werte, die werden zusammengezählt und manche sind eben wichtiger als andere. Wie stark welche Angabe jetzt gewichtet wird, das ist übrigens das Geschäftsgeheimnis. Und wenn das Ganze berechnet wurde, dann hat man jetzt eine Zahl und diese Zahl sagt erst mal noch nicht so viel aus.

12:05 Aber aus diesem Wert wird jetzt ein Score von 1 bis 10 berechnet. Und hier wird es spannend, denn diese Scores von 1 bis 10, das sind sogenannte Dezile. Gut, was ist ein Dezil? Ich erkläre es euch gleich. KOMPASS hat sich die Daten von über 7.000 straffälligen Personen angeschaut und daraus gelernt, wie hoch die Wahrscheinlichkeit ist, rückfällig zu werden.

12:31 Diese ganzen Daten, die wurden in den Jahren 2004 und 2005 in sechs amerikanischen Bundesstaaten erhoben. Und bei diesen 7.000 Personen hat man dann halt geschaut, von einem Stichtag ausgehend, was ist in den zwei, drei Jahren danach passiert, sind die nochmal straffällig geworden. Also man hatte diese Information.

12:49 Und mit diesen ganzen Daten hat man jetzt ein mathematisches Modell entwickelt, das für die ganzen Merkmale festlegt, wie hoch diese angesprochenen Gewichtungen sein müssen. Und zwar so, dass jemand, der dann tatsächlich rückfällig wurde, auch einen möglichst hohen Wert bekommt. Und dann hat man diese ganzen Werte von diesen 7000 Personen genommen und hat die einfach aufsteigend sortiert. Und man konnte jetzt sagen, wer einen niedrigen Wert hat, der hatte eine eher geringe Wahrscheinlichkeit, erneut straffällig zu werden.

13:19 Und bei einem hohen Wert war die Wahrscheinlichkeit entsprechend groß. Laut Hersteller wurden die Personen dann auf verschiedene Listen aufgeteilt. Getrennt nach Geschlecht und getrennt nach Art vom Gefängnis, also Bundesgefängnis oder Staatsgefängnis. Und diese Abschnitte, das sind jetzt diese angesprochenen 10 Dezile.

13:37 Das erste Dezil beinhaltet jetzt die 10% des Scores mit den geringsten Rückfallwahrscheinlichkeiten. Und wenn jetzt der eigene Score beispielsweise in Dezil 8 landet, dann heißt das, dass 70 bis 80 Prozent der anderen Personen in dieser Vergleichsgruppe eine geringere Rückfallwahrscheinlichkeit hatten als man selbst.

13:59 Das heißt aber nicht unbedingt, dass die eigene Rückfallwahrscheinlichkeit bei 80 Prozent liegt. Und da muss man ein bisschen aufpassen, weil da kommt man meiner Meinung nach echt schnell durcheinander. Der Hersteller von Kompass, der warnt übrigens im eigenen Handbuch davor, dass wenn diese Vergleichsgruppe nicht wirklich gut passt, dann bedeutet eine hohe Zahl nicht unbedingt auch ein hohes Rückfallrisiko.

14:21 Gut, das ist jetzt die Theorie, aber funktioniert das jetzt in der Praxis? Und diese Frage hat sich 2016 die Redaktion von ProPublica genau angeschaut und die haben da mal ein bisschen nachgerechnet. Im Mai 2016 veröffentlichte ProPublica einen Artikel mit dem Titel Machine Bias. Und die Journalistinnen und Journalisten, die hatten sich die Daten aus Brewert-County besorgt.

14:47 Und das waren damals Daten von über 7000 Leuten, die in den Jahren 2013 und 2014 festgenommen wurden und mit Kompass bewertet wurden. Und dann haben sie sich das mal genau angeschaut und sich gefragt, wer wurde denn in den nächsten zwei Jahren tatsächlich wieder festgenommen? Und gibt es da Zusammenhänge mit diesen Kompass-Cores.

15:09 Und den Artikel, den verlinke ich euch, den finde ich auch sehr lesenswert. Und gleich am Anfang vom Artikel, da gibt es ein interessantes Beispiel. Und zwar geht es da um eine 18 Jahre junge schwarze Frau, die ist mit ihrer Freundin unterwegs und die sehen irgendwo ein Kinderfahrrad und einen Roller rumstehen. Und dann klauen sie die Dinger.

15:28 Die werden dabei erwischt, die Polizei wird gerufen und der Wert von den beiden Dingern, von dem Fahrrad und diesem Roller, ist ungefähr 80 Dollar. Und jetzt geht es vor Gericht. Und diese Frau, die hatte als Jugendliche schon Vorstrafen wegen so ein paar Bagatelldelikten. Parallel dazu wird der Fall von einem 41 Jahre alten weißen Mann erzählt.

15:51 Der stiehlt Werkzeuge, die ebenfalls so ungefähr 80 Dollar wert haben. Dieser Mann war allerdings schon wegen bewaffnetem Raub im Gefängnis. Kompass bewertet die beiden Leute und die junge Frau bekommt von Kompass eine Bewertung von 8 und der Mann eine Bewertung von 3. Zwei Jahre später ist es dann so, dass die Frau nicht wieder angeklagt wurde und der Mann, der sitzt dann für einen Einbruch acht Jahre im Gefängnis.

16:19 Und das ist natürlich nur ein Einzelfall und Einzelfälle, die beweisen nichts. Aber in der Recherche von ProPublica, da sind jetzt nicht nur Einzelfälle drin, sondern da ist auch viel Statistik drin und die ist ganz schön interessant. Die Statistik sagt nämlich, wenn Kompass sich irrt, dann irrt es sich bei schwarzen und weißen Menschen ungefähr gleich oft, aber in entgegengesetzten Richtungen.

16:44 Schwarze Angeklagte, die nicht wieder straffällig wurden, die werden ungefähr doppelt so oft als riskant eingestuft wie weiße Menschen. Und bei Weißen ist es genau umgekehrt. Wer doch wieder straffällig wurde, der war davor öfter als harmlos eingestuft worden. Und das Ganze, obwohl die Hautfarbe gar nicht abgefragt wird und gar nicht direkt in diese Bewertung einfließt. Wie kann das sein?

17:11 Nun, in den USA ist es so, dass manche Angaben sehr stark mit der Hautfarbe zusammenhängen. Beispielsweise sowas wie frühere Festnahmen oder auch der Job. Sowas nennt man Proxivariablen, also Merkmale, die eine Information mittragen, die offiziell gar nicht drinsteckt. Je nachdem, was man sich jetzt anschaut, schwanken die Zahlen so ein bisschen, aber das Verhältnis bleibt gleich.

17:35 Es gibt rund doppelt so viele Fehlalarme bei schwarzen Angeklagten und der Schluss, den ProPublica da zieht, ist, KOMPASS benachteiligt schwarze Personen. Der Untertitel von diesem ProPublica-Artikel, der ist da auch ziemlich deutlich, denn der lautet. Und danach war in vielen Medien von dieser rassistischen Software und von rassistischen Algorithmen die Rede.

18:04 Und jetzt sind wir an der Stelle, an der wir uns mal über Fairness unterhalten müssen. Ich würde sagen, dass wahrscheinlich die meisten Leute der Aussage zustimmen dürften, dass dieser Score von Kompass fair sein muss. Aber was heißt das an der Stelle überhaupt? Nun, das hat ziemlich viel mit dem Schwellwert zu tun, ab dem ein Mensch ein hohes Risiko haben soll.

18:26 Anders gesagt, die Schwelle, ab der so ein Kompasschor dafür sorgt, dass man entweder eine längere Strafe bekommt oder man bereits vor dem Urteil in Untersuchungshaft kommt. Und da gibt es zwei Betrachtungsweisen. Zum einen, die Schwelle, die soll so gelegen sein, dass möglichst alle Menschen damit erwischt werden, die zukünftig rückfällig werden.

18:48 Das kann man mit dem Wetterbericht vergleichen. An allen Tagen, an denen trockenes Wetter angekündigt ist, da soll es auch nicht regnen. Aber es sollen auch möglichst wenige Menschen, die nicht mehr straffällig werden, wegen einem zu hohen Score zusätzlich ins Gefängnis. Und das sind diese False Positives. Und beim Wetterbericht wären es jetzt die Tage, für die trockenes Wetter angekündigt ist, an denen es dann aber dennoch regnet.

19:15 Und das ist ein Dilemma und dafür gibt es auch keine perfekte Lösung, mit der man ausschließlich die richtigen Leute erwischt. Denn dafür müsste man jetzt ja die Zukunft kennen, so ähnlich wie bei Minority Report. Aber man kann es versuchen, eine möglichst gute Antwort zu finden. Und an der Stelle ist natürlich wichtig, ein sehr hoher Score, also sowas wie 9 oder 10, das bedeutet nicht, dass ich rückfällig werde.

19:39 Und ein sehr geringer Score von 1 oder 2 bedeutet auch nicht, dass ich nicht rückfällig werde. Aber die Wahrscheinlichkeit ist halt laut dem Algorithmus entsprechend hoch oder entsprechend niedrig. Und aus dem Grund kann man es natürlich nicht sagen, okay, alle Leute mit Score 8, 9, 10, die werden zu 100% rückfällig, dann machen wir hier die Schwelle.

20:00 Das funktioniert leider nicht. Aber man kann versuchen, eine möglichst gute Lösung zu finden. Und wie die aussehen kann, das hat in den 1760ern der englische Richter William Blackstone geschrieben. Der schrieb. Also lieber entkommen zehn schuldige Personen, als dass eine unschuldige Person leidet. Und laut einem Artikel beim MIT Technology Review hat diese Auffassung auch heute noch eine große Bedeutung in der amerikanischen Rechtsprechung.

20:36 Und wenn man sich jetzt die Ranglisten von COMPASS anschaut, also diese ganzen Dezile, dann kann man ja einfach schauen, wo ist der Punkt, an dem man das beste Verhältnis hat, also die höchste Anzahl von korrekten Prognosen. Und nur zur Erinnerung, diese Prognosen basieren auf den Daten der rund 7000 Personen, bei denen man ja jeweils wusste, was ihre Zukunft bringt.

21:00 Und KOMPA setzt diese Schwelle zwischen Dezil 7 und 8, und zwar auf Basis aller Menschen in der Vergleichsgruppe und hier wurde ja lediglich nach Geschlecht und dem jeweiligen Gefängnistyp unterschieden. Und tatsächlich, wer oberhalb der Schwelle liegt, der hat unabhängig von der Hautfarbe in etwa die gleiche Wahrscheinlichkeit nochmal verhaftet zu werden.

21:22 Aber wie sieht es jetzt mit der anderen Perspektive aus? Und genau das hat sich, wie gesagt, ProPublica angeschaut. Wie oft wurden hochriskante Menschen jenseits der Schwelle kein weiteres Mal festgenommen? Und wie oft wurden Menschen, die nicht als riskant eingestuft wurden, dann doch nochmal festgenommen?

21:41 Und da stellt es sich halt raus, schwarze Menschen werden fast doppelt so oft als Hochrisiko eingestuft, ohne danach erneut straffällig zu werden. Und auf der anderen Seite der Skala werden halt weiße Menschen mit einem niedrigen Score deutlich häufiger doch nochmal straffällig. Und ja, wie kann das sein? Nun, beide Perspektiven, die sind korrekt und man kann das auch nachrechnen.

22:07 Und ich empfehle an der Stelle den Artikel beim MIT Technology Review, den fand ich echt gut und auf der Website gibt es so ein paar interaktive Elemente, wo man mit einem Schieberegler mal ausprobieren kann, was passiert, wenn man diese Schwelle verändert. Und da stellt sich natürlich jetzt die Frage, wie rassistisch kann Kompass eigentlich sein und werden da jetzt tatsächlich Menschen anhand ihrer Hautfarbe benachteiligt?

22:31 Nun, KOMPASS ist nicht bewusst rassistisch, also da wurde keine Regel einprogrammiert, die bestimmte Menschen benachteiligt auf Basis von ihrer Hautfarbe. Aber die Software, die reproduziert natürlich die systematische Benachteiligung und den Rassismus, der in den Daten steckt. Schauen wir uns das mal ganz kurz an.

22:50 Die Daten sagen nicht aus, wer eine Tat begangen hat, sondern wer festgenommen wurde. Das klingt logisch, aber es lohnt sich einen Augenblick drüber nachzudenken. In manchen Gegenden, da wird deutlich mehr kontrolliert als in anderen. Und wenn mehr kontrolliert wird, dann werden auch potenziell mehr Leute festgenommen.

23:10 Gerade in sogenannten in Anführungszeichen Problemvierteln trifft man dann aber keinen repräsentativen Querschnitt der Bevölkerung. Wenn jetzt schwarze Menschen häufiger kontrolliert werden, dann wird in dieser Bevölkerungsgruppe auch häufiger eine Straftat entdeckt und es werden auch häufiger Leute festgenommen.

23:28 Und wer früher und häufiger festgenommen wird, der sammelt halt auch mehr Einträge in der Akte an. Und genau diese Informationen zählt jetzt Kompass, die Anzahl früherer Festnahmen und das Alter bei der ersten Festnahme. Das ist wie bei einem Blitzer. Wenn in einer Stadt in einem Viertel besonders viele Blitzer stehen, dann wird da vermutlich auch viel geblitzt.

23:51 Aber es ist dann halt schwer, über diese Information eine Aussage über die ganze Stadt zu treffen oder über die Nachbarstadt. Und dazu kommen jetzt noch weitere Nachteile bei der Bildung, bei der Arbeit und bei der Wohnsituation, die mit Straftaten zusammenhängen können. Und natürlich fließt hier auch der Alltagsrassismus mit rein, wenn beispielsweise schwarze Menschen aufgrund ihrer Hautfarbe öfter kontrolliert werden oder angezeigt werden oder wenn man im Gegenteil bei weißen Menschen jetzt eher mal ein Auge zudrückt.

24:23 In den Kompass-Daten steckt die Hautfarbe nicht explizit drin, aber dann halt implizit doch durch die angesprochenen Proxivariablen wie frühere Festnahmen, Beruf, Bildung und so weiter. ProPublica hat mit seiner Recherche gezeigt, dass es halt leider immer noch einen Unterschied zwischen schwarzen und weißen Menschen in den USA gibt, und zwar, weil es in der Gesellschaft Rassismus und Benachteiligung gibt.

24:46 Und aus diesem Grund ist aus der Perspektive von ProPublica Kompass nicht fair. Denn wenn man sich die beiden Gruppen, also schwarze und weiße Menschen, jetzt mal getrennt voneinander anschaut. Dann fällt eben auf, dass die jeweiligen Schwellen nicht an der optimalen Position sind, um jeweils die höchste Anzahl von korrekten Prognosen zu erreichen.

25:07 Diese Schwelle unterscheidet sich nämlich schlicht und ergreifend in den beiden Gruppen. Und wenn man jetzt aus diesem Grund durch einen Kompasschor zu Unrecht eine höhere Strafe bekommt, dann ist das natürlich eine Benachteiligung. Und man darf an der Stelle natürlich auch nicht vergessen, dass jeder Fehlalarm halt am Ende eine Person ist, die dadurch Nachteile erhält.

25:27 Und das kann bedeuten, dass man länger ins Gefängnis muss oder dass man vielleicht irgendwelche Nachteile im Job oder so hat. Und wie sieht es bei uns in Europa aus? Nun, wir haben seit 2024 den EU-AI-Act und seit Februar 2025 sind laut diesem Gesetz KI-Systeme verboten, die vorhersagen sollen, ob ein Mensch eine Straftat begeht und zwar allein auf Grundlage von einem Profil.

25:52 Also im Prinzip kein Pre-Crime für Europa. Erlaubt bleibt es, dass so ein System eine menschliche Einschätzung unterstützt, die auf schon überprüfbaren Fakten beruht. Solche Systeme gelten dann als Hochrisiko-KI und da gibt es dann besondere Pflichten zur Dokumentation, zur Transparenz und zur menschlichen Aufsicht.

26:13 Precrime in Reinform gibt es also nicht bei uns, aber vielleicht so eine abgeschwächte Variante. Ein Werkzeug wie Kompass, das jetzt Richtern zuarbeitet, wäre wahrscheinlich erlaubt in Europa, aber streng reguliert. Und was ist das Fazit von der Geschichte? Ich schulde euch ja noch den Rest von der Geschichte von Eric Loomis.

26:32 Im Juli 2016 entschied der oberste Gerichtshof von Wisconsin, Kompass darf berücksichtigt werden, genau wie andere Beweise im Verfahren. Aber der Kompass-Korps darf nicht den Ausschlag für ein Urteil geben. Und jeder Kompassbericht, der braucht fünf Warnhinweise, darunter so Dinge wie den Hinweis, dass die Software und der Algorithmus geheim sind, den Hinweis, dass es Studien gibt, die die Frage aufwerfen, ob Kompass Minderheiten eventuell überproportional als riskant einstuft, und den Hinweis, dass Kompass für Entscheidungen nach dem Urteil entwickelt wurde.

27:10 Ich fand bei der Geschichte die Frage spannend, was ist eigentlich Fairness und ich fand es interessant, dass es hier ein regelrechtes Fairness-Dilemma gibt, das man nicht auflösen kann. Und genau deswegen ist es halt sehr, sehr wichtig, dass die Menschen, die mit so einem System arbeiten, auch ganz genau verstehen, woher kommen die Daten und was bedeuten diese Daten.

27:31 Klar, es gibt natürlich dann immer noch das Restrisiko, dass man irgendwie unbewusst beeinflusst wird. Aber ich glaube einfach, dass die Transparenz über die zugrunde liegenden Daten und die verwendeten Algorithmen einfach elementar ist. Denn ansonsten hat man halt eine Blackbox vor sich und der muss man vertrauen oder halt auch nicht.

27:51 Und diese Transparenz, die finde ich übrigens für alle Beteiligten wichtig, also auch für die Staatsanwaltschaft und für die Verteidigung. Algorithmen, die über die Freiheit mitentscheiden, die dürfen meiner Meinung nach kein proprietäres Geschäftsgeheimnis sein. Und darauf aufbauen fände ich es auch super hilfreich, wenn man an solchen Stellen direkt und nachvollziehbar offenlegt, wie solche Scores zustande kommen.

28:13 Denn Hand aufs Herz, wer schnappt sich das dicke Handbuch vom Hersteller und beginnt dann irgendwelche Kennzahlen selbst durchzurechnen, um die zu verstehen? Diese ganze Offenheit, die löst natürlich das Fairness-Dilemma nicht auf, aber sie macht sichtbar, welche Entscheidungen irgendwo getroffen wurden und nur wenn irgendwas sichtbar ist, kann man auch darüber nachdenken und das vor allem auch kritisieren.

28:36 Ich glaube, dass solche Prognosemodelle in jedem Kontext eine hilfreiche Unterstützung sein können, aber halt nur, wenn man die Funktionsweise und vor allem auch die Grenzen kennt. Und damit vielleicht nochmal zurück zum Minority Report. Im Film werden ja diese Minderheitsberichte gelöscht, damit das System unfehlbar wirkt.

28:53 Wir leben heute zum Glück in einer Welt, in der man vor Gericht solche Scores und Prognosen anzweifeln darf. Und vielleicht ist die Frage am Ende dann also gar nicht, ob Maschinen urteilen dürfen oder nicht, sondern ob wir noch wissen, was wir diese Maschinen eigentlich gefragt haben, woher die Antwort kommt und welche Art von Fairness wir überhaupt von ihnen erwarten.

29:15 Das war die Folge Nummer 137. Danke fürs Zuhören. Noch mehr Geschichten gibt es im Premium-Feed auf Steady und ab 5 Euro im Monat bist du dabei und du hilfst damit, auch das Projekt hier weiter wachsen zu lassen. Alle Infos dazu gibt es in der Folgenbeschreibung und auf support.digitalenanomalien.de und wenn du von Technikthemen nicht genug bekommst, dann abonniere doch mein kostenloses E-Mail-Magazin Die Anomalie, da gibt es einmal im Monat interessante Artikel und Updates direkt in dein Postfach.

29:44 Für Feedback und Diskussionen sehen wir uns im Discord, auf Twitch oder du schreibst mir eine E-Mail an feedback-at-digitale-anomalien.de Und wenn es dir gefallen hat, dann lass mir doch gerne 5 Sterne bei Spotify oder Apple da. Wir sehen uns beim nächsten Mal wieder und bis dahin sage ich Tschüss!