Zurück

Beitrag lesen und teilen

Achtung Diskriminierung

Algorithmen dringen mehr und mehr in unser Leben ein und entscheiden für uns. Was auf den ersten Blick wie begrüssenswerter Fortschritt erscheinen mag, wirft auf den zweiten Blick grundsätzliche gesellschaftliche Fragen auf, die bisher unbeantwortet geblieben sind. Der Beitrag ist eine kritische Auseinandersetzung mit der aufstrebenden Welt der Künstlichen Intelligenz und Entscheider-Algorithmen.

Achtung Diskriminierung!

Was passiert, wenn wir Algorithmen für uns entscheiden lassen

 «Die nahe Zukunft in Europa: Regierungen wurden in den meisten Ländern von einem perfekten Algorithmus abgelöst. Er ermöglicht den Menschen ein sorgenfreies, sicheres Leben, solange sie sich an die Regeln halten. Um das zu leisten, sammelt der Algorithmus selbst intimste Daten der Bevölkerung. Berechenbarkeit von Verhaltensweisen auf der Basis von Big Data ist zum höchsten Gut geworden. Es gibt nur wenige, die gegen dieses System rebellieren. Einer von ihnen ist Taso, der sich für ein selbstbestimmtes Leben entschieden hat und sich dem System, wann immer möglich, entzieht. Diese Freiheit hat ihren Preis: keine Freundeempfehlungen, Arbeitszeitreduzierung, Einkommensverluste, Kündigung der Wohnung. Offliner, wie Taso einer ist, haben kaum Möglichkeit in der Gesellschaft noch Fuss zu fassen, weil zu wenig Daten über sie vorhanden sind und ihr Social Scoring folglich schlecht ist.»[1]

Ist es vorstellbar, dass wir einer Zukunft entgegensteuern, wie sie in dem Science-Fiction-Roman «Der Würfel» von Bijan Mioni furchteinflössend erzählt wird? Werden die, die sich nicht an den Mainstream anpassen wollen oder können, bestraft und ausgeschlossen, weil Algorithmen Schlüsse ziehen, die Aussenseitermeinungen und -verhalten nicht berücksichtigen oder sogar bestrafen?

Die Antwort ist: Ja, das passiert schon hier und heute. Zwar nicht so resolut wie in China, wo Bürger von Regierungsbehörden mittels Algorithmen laufend bewertet werden, aber der Trend ist eindeutig: Algorithmen werden immer häufiger eingesetzt, um uns zu beurteilen und über uns zu entscheiden.

In vielen Bereichen entscheiden schon heute Algorithmen über uns

Tatsächlich werden auch in der westlichen demokratischen Welt Menschen durch Algorithmen in Klassen eingeteilt und nach ihren Eigenschaften bewertet, wie nachfolgende Fälle plakativ aufzeigen:[2]

  1. Robo-Richter sagen vorher, ob ein Straftäter rückfällig wird

    Dieser Algorithmus sucht nach Eigenschaften, die bei rückfälligen Straftätern häufig waren und nach denen von Straftätern, denen es gelungen ist, in der Gesellschaft wieder Fuss zu fassen. Die jeweils relevanten Eigenschaften (bestimmt durch die Softwarefirma!) sind dann Grundlage für die Bestimmung des Rückfallrisikos aktueller Straftäter. Hat ein Straftäter viele der Eigenschaften, die in der Vergangenheit rückfällige Straftäter hatten, wird auch bei diesem Straftäter davon ausgegangen, dass er rückfällig wird. Obwohl die Vorhersagezuverlässigkeit mit nur 70% angegeben wird, ist die Risikoeinstufung entscheidend für die Bestimmung des Strafmasses bei der Verurteilung.[3]

  2. Automatische Darlehensgenehmigungssoftware entscheidet über Umschuldung

    Der Algorithmus einer Bank entscheidet über Kreditverlängerung und Umschuldung von Hypothekendarlehen. Ein Berechnungsfehler, der sieben Jahre nicht entdeckt wurde, hat dazu geführt, dass 870 Kunden fälschlicherweise nicht umschulden durften, woraufhin 545 davon ihr Zuhause zu Unrecht verloren haben.[4]

  3. Bewerberauswahlsoftware urteilt über Eigenschaften von Bewerbern

    Viele Unternehmen setzten mittlerweile bei der Bewerberauswahl auf dem Markt käufliche Software ein. Ähnlich wie in dem Beispiel des Algorithmus zur Berechnung des Rückfallrisikos von Straftätern erfolgt eine Beurteilung auf der Basis von Eigenschaften von Bewerbern aus der Vergangenheit. Dabei werden zwei Klassen gebildet, die der erfolgreichen und die der nicht erfolgreichen Bewerber. Die Kategorisierung basiert auf dem Prinzip der Allgemeingültigkeit, unabhängig von den jeweiligen Rahmenbedingungen, der Kultur und den Werten des jeweiligen Unternehmens, das die Bewerbersoftware einsetzen will.

  4. Bewerberauswahlsoftware urteilt über Eigenschaften von Bewerbern

    Der Selbstversuch einer farbigen Doktorandin zeigt, dass keine der käuflichen Gesichtserkennungssoftware etablierter Unternehmen wie IBM, Microsoft, Face ++ und Kairos erkennen kann, dass sie eine farbige Frau ist. Dass Farbige und besonders farbige Frauen von gängigen kommerziellen Gesichtserkennungssoftware weitaus seltener erkannt werden als ihre weissen Geschlechtsgenossen, konnte sie später anhand von tausenden von Daten im Rahmen ihrer Dissertation bestätigen.[5]

Beim Lesen dieser Fälle mag sich bei dem einen oder anderen das Gefühl verstärken, dass hier Ungerechtigkeit und Willkür vorherrschen und moralische Aspekte auf der Strecke bleiben. Schenken wir demnach den Entscheider-Algorithmen zu viel Vertrauen oder haben die Schöpfer dieser Algorithmen schlichtweg keinen guten Job gemacht?

Die Arbeit der Algorithmus-Designer verlangt neben technischem Know-how Abstraktionsvermögen. Aber sollte er auch ethische Entscheidungen treffen?

Die Arbeit des Algorithmus-Designers besteht darin, bestimmte Fragestellungen in mathematische Modelle zu übersetzen, die den Algorithmen dann als eine Art Handlungsanweisung dient. Modelle können naturgemäss jedoch immer nur einen kleinen Ausschnitt einer komplexen Realität abbilden. So stellt sich die Frage, inwieweit die Modelle und daraus resultierende Handlungsanweisungen ausreichend sind, um den Algorithmus «gute» Entscheidungen treffen zu lassen.

Ein Algorithmus kann nicht von sich aus zwischen «gut» oder «schlecht» unterscheiden. Die Fähigkeit des menschlichen Ermessens darüber was «gut» und was «schlecht» ist, fehlt ihm. Das einfache Beispiel «Hund beisst Postboten = schlecht, Hund beisst flüchtigen Straftäter = gut» zeigt, wie vielschichtig sich die Festlegung und Programmierung einer Beurteilung selbst in einfachen Problemstellungen darstellt.

Noch problematischer ist die Klassifizierung von menschlichem Verhalten und Eigenschaften in «gut» oder «schlecht» als Basis für die Beurteilung von Menschen. Menschliches Verhalten wie auch die Ausprägung von Eigenschaften sind immer auch stark abhängig von den jeweiligen Umständen, in denen ein Mensch sich befindet. Ein Bewerber kann unabhängig davon, welche Eigenschaften ihn vornehmlich prägen, in dem einen Unternehmen erfolgreich sein, zum Beispiel weil er gefördert wird und in einem anderen nicht erfolgreich sein, weil er gemobbt wird. Ein Straftäter wird vielleicht trotz einer vermeintlichen hohen Rückfälligkeitsgefahr nicht rückfällig, wenn ihm die Chance zu Weiterentwicklung und einer Zukunft in der Gesellschaft geboten wird. Die Potenziale, die Menschen mitbringen, kann man nicht in Schubladen stecken und von Algorithmen kategorisieren lassen, sondern am ehesten in einem persönlichen, wertschätzenden Gespräch herausfinden.

Kritisch zu sehen ist zudem die Programmierung von selbstlernenden Algorithmen. Selbstlernende Algorithmen extrahieren aus Daten vermeintliche Wahrheiten und bilden Analogien auf deren Basis sie ihre Entscheidungen treffen. Das heisst, der Algorithmus wird mit Daten gefüttert, die er dann eigenständig analysiert und für seine Aufgabenstellung verwendet. Das Problem: Sind diskriminierende Strukturen schon in den Basis-Daten enthalten, werden sie vom Algorithmus fortgeschrieben. Fehlen dem Algorithmus Daten, kann es passieren, dass ganze Bevölkerungsgruppen vom Algorithmus ausgeschlossen werden, wie das Beispiel der farbigen Doktorandin, die von gängiger Gesichtserkennungssoftware nicht erkannt wird, zeigt.[6]

Ethische Abwägungen oder Vollständigkeitsprüfungen kann der Algorithmus nicht vornehmen. Ebenso kann er nicht prüfen, ob seine Resultate Sinn ergeben. Die dafür notwendigen Handlungsweisungen sind oft schlichtweg zu komplex, um sie zu programmieren. Kausalitätsprüfungen, wie sie in der Wissenschaft üblich sind, finden in der Regel auch nicht statt. Wie das Beispiel der Well Fargo Bank zeigt, kann es passieren, dass ein Algorithmus jahrelang falsche Ergebnisse liefert – mit allen Konsequenzen für die betroffenen Menschen.

Liest man Erfahrungsberichte von Algorithmus-Designern, so erfährt man, dass die Designer oft nicht wissen in welchem Kontext ihr für eine abstrakte mathematische Fragestellung erstelltes Programm später eingesetzt wird. Software Engineers, die ihre Programme dann weiterverarbeiten sowie auch Endkunden interessiert es aber normalerweise nicht, welche mathematischen Modelle dem Algorithmus im Detail mitgegeben wurden und welche ethischen Fragestellungen, wie beantwortet wurden. Das heisst, eine kritische Auseinandersetzung mit den zugrundeliegenden Annahmen in der Programmierung findet nicht statt.

Schliesslich kann man feststellen, dass der Algorithmus-Designer eine Aufgabe im Rahmen seiner beruflichen Tätigkeit bei einem meist privatwirtschaftlichen Unternehmen erfüllt. Für ihn erscheint es eine unlösbare Aufgabe zu sein, grundlegende gesellschaftliche Fragestellungen zu beantworten und dem Algorithmus allgemeingültige Handlungsanweisungen mitzugeben.

Algorithmen treffen «entseelte» Entscheidungen - aber wer ist dann für die Ethik verantwortlich?

Unbestritten ist auch, dass weder der Algorithmus-Designer noch sein Arbeitgeber für die Gesellschaft entscheiden können. Es stellen sich grundlegende Fragen und moralische Abwägungen müssen getroffen werden, die einzelne Personen oder Gruppen nicht für die Allgemeinheit treffen sollten:

  • Menschen können nicht beweisen, dass sie künftig einen guten Job machen werden oder nicht strafrückfällig werden. Ist es dennoch vertretbar, dass Algorithmen deren Zukunft auf der Basis von Durchschnittsdaten aus der Vergangenheit «vorhersehen» und Menschen für Verhaltensweisen und Taten bestrafen, die sie noch gar nicht begangen haben?
  • Sollten moralische Abwägungen getroffen werden und sind wir als Gesellschaft bereit, Kollateralschäden in Kauf zu nehmen? Soll zum Beispiel kein Unschuldiger bestraft werden oder möglichst viele Kriminaltaten verhindert werden, mit der Folge, dass dem einen oder anderen Unschuldigen Unrecht geschieht?
  • Was soll geschehen, wenn Algorithmen falsche oder nicht gewünschte Entscheidungen treffen? Diese Frage stellt sich insbesondere im Hinblick auf die selbstlernenden Algorithmen, deren Entscheidungen nicht mehr nachvollziehbar sind. Wer trägt die Verantwortung beziehungsweise an wen können Geschädigte Regressforderungen stellen, wenn sie zum Beispiel aufgrund fehlerhafter Algorithmus-Entscheidungen ihr Zuhause verlieren?
  • Braucht die Gesellschaft nicht soziale Konzepte zur Entscheidungsgüte, die bei Algorithmen anzuwenden sind, um zum Beispiel Diskriminierung von Frauen und Farbigen einzudämmen?
  • Laufen Gesellschaft und Unternehmen nicht Gefahr, dass Monokulturen entstehen, wenn die Entscheidungen von Algorithmen über Menschen auf durchschnittlichen, vergangenen Verhalten und Eigenschaften beruhen, aber gleichzeitig innovative, diverse Denkansätze zur Lösung der Probleme unserer Zeit benötigt werden?
  • Wir wissen oft nicht, wann ein Mensch und wann ein Algorithmus finale Entscheidungen trifft. Sollte es nicht eine Kennzeichnungspflicht sowie das Recht auf Widerspruch und Offenlegung der Entscheidungskriterien geben, falls ein Algorithmus entscheidet?
  • Soll ein Algorithmus überhaupt eigenständig entscheiden dürfen, wenn es um Entscheidungen geht, die Einfluss auf die Lebensumstände von Menschen hat, zum Beispiel über ihr Vermögen, ihre gesellschaftliche Stellung oder ihren Beruf?

Wenn die Entscheidungsgüte von Algorithmen offensichtlich mehr als fragwürdig ist und moralische Antworten der Gesellschaft fehlen, drängt sich die Frage auf, warum wir Menschen Entscheidungen überhaupt an Algorithmen delegieren wollen.

Der Glaube: Algorithmen treffen rationalere, effizientere und damit bessere Entscheidungen als Menschen

Die Qualität der Entscheidungen der Algorithmen hängt von den Faktoren Qualität und Quantität der Daten, Annahmen zur Fragestellung und davon ab, was eine gute Entscheidung ausmacht. Der Algorithmus hält sich stets an seine Handlungsweisungen. Er schliesst keine Kompromisse und nimmt keine ethischen Abwägungen vor, wenn eine Entscheidung nicht «richtig» erscheint. Sicherlich kann ein Algorithmus in kurzer Zeit eine grosse Menge von Daten analysieren, die für einen Menschen in seinem ganzen Leben nicht zu bewältigen wäre.

Menschen dagegen treffen subjektive Entscheidungen, diese sind neben rationalen Überlegungen beeinflusst von Tagesbefinden, Emotionalität, Intuition und Erfahrungswissen. Wenn wir Algorithmen für uns entscheiden lassen, gehen wir davon aus, dass wir Menschen die schlechteren Entscheider sind, weil zum einen der ungetrübte Blick auf Objektivität und Rationalität und zum anderen die Fähigkeit zur «Verarbeitung von Massendaten» fehlen. Sind die «entseelten» Entscheidungen des Algorithmus also besser als die subjektiven, ineffizienten der Menschen? Das mag in vielen Fällen so sein, dennoch zeigen die Beispiele plakativ, welche schwerwiegenden Folgen die nach menschlichem Ermessen unausgewogenen Entscheidungen der Algorithmen haben können.

Bedenklich ist auch, dass Algorithmen menschliche Kontrollen immer weiter ersetzen. Smart Watches checken unsere Gesundheitsdaten, Google kennt unsere Bewegungsprofile und Sensoren an Kleidung sollen künftig unsere Emotionen erfassen. Künstliche Intelligenz erweitert den Einflussbereich und dringt in immer mehr Bereiche vor. Und wer kann noch nachvollziehen, für welche Entscheidungen Algorithmen diese Daten künftig nutzen? Schliesslich bestimmen in erster Linie nicht gesellschaftliche Werte und Glaubenssätze, wie die Algorithmen arbeiten, sondern vorwiegend wirtschaftlichen Interessen der Softwarefirmen, die solche Programme entwickeln und vermarkten.

Zweifelsohne bedarf es einer politischen und gesellschaftlichen Diskussion und Regelungen statt Stillschweigen und unreflektierte Akzeptanz dieser Entwicklungen.

«Der Offliner Taso glaubt nicht an die legitime Macht der Algorithmen. Im Laufe der Geschichte will er den Würfel besiegen und probt zusammen mit anderen Offlinern der Organisation «Humanistische Allianz» den Aufstand. Inspiriert durch Ihr Motto: «Mut zur Menschlichkeit» schaffen die Aufständigen es tatsächlich den Algorithmus lahm zu legen. Der Epilog dieser Geschichte: Es zeigt sich, dass der Algorithmus unbesiegbar ist und die von der Humanistischen Allianz verursachte Störung nur wenige Minuten gedauert hat. Taso und seine freigeistlichen Komplizen werden endgültig «aus dem Verkehr gezogen». Ihr Verhalten entspricht schlichtweg nicht der Norm, die der Algorithmus gemäss seiner Handlungsanweisung ausnahmslos verteidigt.»[1]

Bleibt zu hoffen, dass dieses Szenario Science-Fiction bleibt.

 

Anmerkungen:

[1] Frei nach dem Buch «Der Würfel» (siehe Quellenangabe)
[2] Alle Beispiele für Entscheidungen von Algorithmen sind aus dem Buch «Ein Algorithmus hat kein Taktgefühl» (siehe Quellenangabe)
[3] Rückfälligkeitssoftware COMPAS, eingesetzt an US-Gerichten
[4] geschehen zwischen 2010 und 2017 in der Well Fargo Bank
[5] in dem Video «Gender Shades» erzählt Joy Bualamwini von ihren Erfahrungen und ihrer Forschung (in Englisch), abgerufen am 16.01.2021, http://gendershades.org/
[6] Weitere Beispiele, wie Diskriminierung in die Algorithmen gelangt, zeigt das Video «Vorurteile Künstlicher Intelligenz: So diskriminieren Algorithmen», abgerufen am 16.01.2021, https://www.srf.ch/play/tv/forward/video/vorurteile-kuenstlicher-intelligenz-so-diskriminieren-algorithmen?urn=urn:srf:video:ff4d01d7-4d8d-48e3-94a1-a293799b863b

Quellenangaben:

taz (02.11.2018): «Im Reich der überwachten Schritte», abgerufen am 16.01.2021 https://taz.de/Social-Scoring-in-China/!5480926/
Buchholz, Ulrike; Knorre, Susanne (2017):«Interne Kommunikation in agilen Unternehmen»; Springer Gabler, Heidelberg
Moini, Bijan (2018): «Der Würfel», Atrium Verlag AG, Zürich
Precht, Richard David (2020): «Künstliche Intelligenz und der Sinn des Lebens»; Wilhelm Goldman Verlag, München
Zweig, Katarina (2019): «Ein Algorithmus hat kein Taktgefühl», Wilhelm Heine Verlag, München

 

Wenn dir dieser Beitrag gefällt und dir Gedankenanstösse geben kann, dann freue ich mich über deine «Likes» und «Shares». Natürlich sind auch Anregungen, Kommentare sowie kritische Stimmen willkommen.

Achtung Diskriminierung!