Für gewöhnlich empfindet der aufgeklärte Mensch die Maschine als Epitom der Objektivität. Unbefangen von Gefühlen, Glauben und Vorurteilen, einzig der Mathematik verpflichtet, so stellen wir sie uns vor, die binären Geister. Doch diese Vorstellung ist gefährlich naiv. Moderne Musterinterpretationsmaschinen, Algorithmen genannt, reproduzieren aufgrund unzureichender Datensätze und mangelnder Reflexion ihrer allzu menschlichen Schöpfer rassistische und sexistische Überzeugungen. Im vorerst letzten Teil der Reihe "Deus Ex Algorithmo" wollen wir uns der Fehlbarkeit der Maschine widmen und aufzeigen, warum blindes Vertrauen in die Entscheidungen von Algorithmen den Weg zu einer völlig neuen Dimension der Ungerechtigkeit ebnet.

Zu Anfang sind einige Worte über die Art und Weise zu verlieren, wie Algorithmen eigentlich lernen. Algorithmen sind Systeme, die Muster erkennen und auf spezifische Muster mit einer spezifischen Antwort reagieren sollen. Das Entscheidungskriterium des Systems ist hierbei die Wahrscheinlichkeitsrechnung. Ein übliches Beispiel ist die folgende Aufgabe: "Filtere aus den folgenden Bildern alle menschlichen Frauen heraus."

Um sie dazu zu befähigen, müssen die Wissenschaftler:innen den Algorithmus mit Daten füttern, an denen das Programm, sozusagen, "üben" kann. Die gängige Meinung größerer Unternehmen ist hierbei, dass der Datensatz nur groß genug sein muss, dann lernt das Programm schon das Richtige. Doch bisweilen entspricht das Ergebnis so gar nicht den Erwartungen, wie auch Vicente Ordóñez, Professor für Informatik an der Universität von Virginia, feststellen musste.

Vorurteile vom Fließband

"Er [der Algorithmus] sieht das Bild einer Person in der Küche und assoziiert die Person viel eher mit einer Frau als mit einem Mann", so Ordóñez. Nach seiner Entdeckung überprüfte er zusammen mit mehreren Kolleg:innen die von Microsoft und Facebook stammenden Datensätze, mit denen der Algorithmus trainiert wurde – und stellte fest, dass diese selbst inhärent sexistisch aufgebaut sind. Bilder, die Aktivitäten wie Putzen oder Kochen darstellen, zeigen unverhältnismäßig oft Frauen, Bilder von Aktivitäten wie Schießen beinah ausschließlich Männer. Dieser Fehler ist also das Resultat vorurteilsbelasteter Daten.

Im Jahr 2015 leistete sich ein Gesichtserkennungsalgorithmus von Google einen veritablen Fauxpas, als er schwarze Menschen als Gorillas einstufte. Doch nicht nur Bilderkennungssoftware reproduziert Stereotypen, wie sich an diesem Beispiel eines textgenerierenden Algorithmus zeigt, den Microsoft zusammen mit der Universität Boston trainiert hatte: Wissenschaftler:innen ließen das Programm mit Texten von Google News lernen und gaben ihm dann folgende Denkaufgabe: "Mann zu Programmierer verhält sich wie Frau zu X". Die (sexistische) Antwort des Algorithmus: Haushälterin.

Algorithmen sind nur so akkurat wie unsere Daten

Eine der weltweit führenden Spezialistinnen im Bereich der Ethik künstlicher Intelligenzen ist Timnit Gebru. Zusammen mit Joy Buolamwini verfasste sie 2018 die wegweisende Studie Gender Shades. Gebru und Buolamwini untersuchten dabei zwei der am häufigsten zum Training von Gesichtserkennungsalgorithmen eingesetzten Datensätze.

79,6 respektive 86,2 Prozent aller Personen in diesen Datensätzen haben einen hellen Hauttyp, stellten die Wissenschaftler:innen fest. Sie entwarfen daraufhin ihren eigenen, ausgeglichenen Datensatz und setzten drei der meistgenutzten kommerziellen Gesichtserkennungsalgorithmen darauf an. Das Ergebnis: Die Algorithmen klassifizierten Persons of Color, insbesondere Women of Color, in bis zu 35 Prozent der Fälle falsch. Zum Vergleich: bei Männern mit hellem Hauttyp unterlief dem Algorithmus in lediglich 0,8 Prozent der Fälle ein Fehler.

Diese gigantische Diskrepanz ist ebenfalls durch belastete Datensätze zu erklären. Wenn wir dem Algorithmus Bilder geben, in denen überwiegend Frauen in der Küche stehen und auf denen die Menschen überwiegend weiß sind, dann wird der Algorithmus lernen, dass eine Person in der Küche höchstwahrscheinlich eine Frau ist und er wird lernen, dass der Begriff "Person" an sich eher mit einer hellen Hautfarbe als einer dunklen konnotiert ist, denn so sieht die Welt aus, die wir ihm zeigen.

Die Macht der Mustererkennung

Die Resultate dieser Verzerrung reichen von kleineren Unannehmlichkeiten bis hin zu lebensbedrohlichen Fehlinterpretationen. Eine der weniger gefährlichen Folgen rassistisch oder sexistisch trainierter Algorithmen ist die Zusammenstellung der Vorschaubilder in der Twitter-Timeline. Wie der britische Guardian berichtet, scheint Twitters Algorithmus einen ausgeprägten Hang dazu zu haben, nur weiße Personen ins Vorschaubild hineinzuschneiden, unabhängig davon, wie viele Persons of Color auf dem Foto zu sehen oder wie diese Personen platziert sind. Es gibt zahllose Beispiele für diesen obskuren Mechanismus.

Doch Algorithmen sind längst nicht mehr nur für die Auswahl von Textschnipseln und Vorschaubildchen zuständig. Auch in besonders sensiblen Bereichen wie der Medizin, vor Gericht oder bei polizeilichen Ermittlungen kommen sie zum Einsatz, bisweilen mit verheerenden Folgen.

Eine 2019 im Magazin Science veröffentlichte Studie kommt zu dem Ergebnis, dass ein Algorithmus, der in US-amerikanischen Krankenhäusern zur Ressourcenallokation eingesetzt wird, schwarze Patient:innen systematisch benachteiligt. Der Algorithmus arbeitet auf Basis einer vermuteten Korrelation zwischen den Kosten, die eine Patient:in pro Jahr verursacht, und der Schwere der Erkrankung, folglich also einer Korrelation zwischen den statistisch zu erwartenden Kosten und der Menge an Ressourcen, die der Algorithmus einer spezifischen Patient:in zuzuweisen hat.

Die Studie zeigte, dass der Algorithmus eine klare Unterscheidung auf Basis der Hautfarbe vornahm, um engmaschigere medizinische Betreuung zu allokatieren. Schwarze Patient:innen erhielten seltener zusätzliche medizinische Ressourcen als weiße Patient:innen mit identischen Vorerkrankungen. In einem Geldwert ausgedrückt beträgt diese Diskrepanz 1.800 Dollar pro Jahr. Sprich, dem amerikanischen Gesundheitssystem sind schwarze Patient:innen knapp 2.000 Dollar pro Jahr weniger wert als weiße Patient:innen mit identischer Anamnese.

Grund hierfür ist die erwähnte Korrelation zwischen Kosten und Behandlungsaufwand. Wenn das Gesundheitssystem in der Vergangenheit weniger für Persons of Color ausgegeben hat, kann der Algorithmus nicht anders, als diese Diskrepanz zu reproduzieren und zu amplifizieren. Die Autor:innen der Studie konstatieren, dass systemischer Rassismus in der analogen Welt der Grund für den eingeschränkten Zugang von Persons of Color zu adäquater medizinischer Versorgung ist. Nachdem die Forscher:innen eine andere Variable statt der zu erwartenden Kosten angelegt hatten, verbesserte sich das Ergebnis des Algorithmus um bemerkenswerte 84 Prozent.

Ein weiteres prekäres Einsatzgebiet von Algorithmen sind die Staatsgewalten selbst, vornehmlich Exekutive und Judikative. In weiten Teilen der USA sind sogenannte "Predictive Policing"-Algorithmen (Deutsch: "vorausschauende Kontrolle") mittlerweile etabliert. Diese errechnen auf Basis historischer Daten, wo aller Wahrscheinlichkeit nach demnächst eine Straftat stattfinden wird. Auch die Länge von Haftstrafen wird in den USA mittlerweile häufig von Algorithmen festgelegt. Diese empfehlen bei schwarzen Angeklagten eine härtere Strafe als bei weißen Angeklagten, selbst wenn diese des gleichen Verbrechens überführt sind. Die Datensätze, mit denen diese Systeme trainiert werden, erweisen sich allesamt als rassistisch vorbelastet.

Algorithmen: Spiegel der Gesellschaft

Es gilt, was Tristan Greene für TheNextWeb nur allzu pointiert formulierte:

"Algorithmen sehen keine Verbrechen vorher, sie haben lediglich gelernt, dass die Polizei lieber in schwarzen Nachbarschaften patroulliert als in weißen. Algorithmen können keine Rückfallquoten vorausberechnen. Sie haben lediglich gelernt, dass persons of color bisher härter abgeurteilt wurden als ihre weißen Mitmenschen. Technologien wie Gesichtserkennung, Gefühlserkennung und Sprachaufnahme funktionieren für weiße Männer einfach besser als für alle anderen Menschen."

Algorithmen sind nicht selbst davon überzeugt, dass die Welt für weiße Männer gemacht ist – dies ist lediglich der Eindruck, den diese Systeme notwendigerweise gewinnen müssen, wenn weiße Männer in unseren Datensätzen und unserer Wahrnehmung überrepräsentiert sind.

Summa summarum: Algorithmen sind rassistisch und sexistisch. Allerdings nicht, weil sie die entsprechenden Ergebnisse produzieren, sondern weil wir sie mit rassistischen und sexistischen Datensätzen füttern. Sie sind, sozusagen, der verlängerte Arm unseres eigenen, latenten Wunsches, andere abzuwerten, um uns selbst für einen kurzen Augenblick als Zentrum der Welt begreifen zu können.

Wer algorithmischer Entscheidungsfindung blind vertraut, der fällt dem sic ergo sunt-Fehler ("es ist so, also soll es so sein") anheim. Wer systemischen Rassismus und Sexismus nicht erkennen will, der öffnet die Tür zu einer Welt, in der Diskriminierung technologisch perpetuiert, objektiviert und damit legitimiert wird. Schon jetzt werden schwarze Menschen einfach nur deshalb verhaftet, weil Gesichtserkennungsalgorithmen sie nicht unterscheiden können und das ist nicht weniger als eine Schande für eine aufgeklärte Gesellschaft. Es gilt jetzt, uns an die eigene Nase zu fassen. Andrea Nill Sànchez, Direktorin des AI Now Instituts, fasste es vor dem Europäischen Parlament gekonnt zusammen: "Predictive Policing-Systeme werden niemals sicher sein – bis wir das Justizsystem, auf dem sie aufbauen, reformiert haben".