Diskriminierende Denkrahmen dekonstruieren

Doris Allhutter fotografiert von Nini Tschavoll

Name: Doris Allhutter, geboren 1975 in Linz, kam zum Studium nach Wien und lebt in Wien Ottakring. Die Sozialwissenschaftlerin forscht am Institut für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften zum Thema (soziale) Ungleichheit in der Technik(gestaltung).


Wir alle sind aufgerufen, aus unserer Geschichte zu lernen. Wer sich zu Gemüte führt, wie die Verhältnisse vor hundert Jahren waren, wird rasanten Fortschritt bemerken. Für maschinelles Lernen und künstliche Intelligenz scheint das kein durchgehendes Erfolgsrezept zu sein. Denn wenn Algorithmen aus der Vergangenheit bzw. mit historischen Daten lernen, wird leicht weiter bestärkt und mit eingeschrieben, was wir überkommen wollten.

So generell kann man es nicht sagen, erklärt Doris Allhutter, die sich seit rund fünfzehn Jahren mit dem Thema Ungleichheit in der Technik(gestaltung) beschäftigt: „Es gibt das Versprechen, das aus der Verarbeitung großer Datenmengen neues Wissen generiert wird. Maschinen können Muster erkennen, die Menschen verborgen bleiben. Auf der anderen Seite spiegeln vor allem Textdaten häufig die Vergangenheit wider und so werden im Lernergebnis leicht Muster der Vergangenheit reproduziert.“

Bei der Untersuchung von Trainingsdaten für Computer im Bereich Alltagswissen fand Doris Allhutter folgende Beschreibung für Frauen: „to furnish with a woman“. Shakespeare ist toll, aber als aktuelles Allgemeinwissen in Hinblick auf Gleichberechtigung eher untauglich. Ähnliche Probleme gibt es bei Beschreibungen aus einem kolonialen Blickwinkel: Wie wird eine Landschaft, die lokale Bevölkerung, ein Bauwerk beschrieben? Auch die semantische Nähe kann das maschinelle Verständnis prägen: Steht Frau im Text oft neben Küche? Oder neben Forschung? Wenn das aus dem Material gelernte Verständnis von Algorithmen mit weiteren Anwendungen verknüpft wird - für Bilderkennung oder Videoanalyse - pflanzt sich das Problem weiter fort. „Wie groß das Problem ist, ist nicht abzuschätzen. Es ist multidimensional und vielschichtig“, erklärt die Käthe-Leichter-Preisträgerin.

Ob ein Algorithmus diskriminiert oder nicht, fliegt am ehesten auf, wenn vielfältige Menschen ihre Perspektive bei der Entwicklung einbringen oder Fehlfunktionen augenscheinlich (und auch ernst genommen) werden. Etwa wenn ein Händetrockner dunkle Haut nicht erkennt oder eine Tür sich nach der Gesichtserkennung nicht öffnet. Eine bekannte Studie von Joy Boulamwini und Timnit Gebru zeigte auf, dass Gesichter von weißen Männern am besten erkannt werden. Am schlechtesten werden die Gesichter von Women of Colour erkannt, weil sie in den Trainingsdaten unterrepräsentiert waren. Und dann ist noch die Frage, wofür die KI verwendet wird, welche Kreise das zieht: Für Services, Unfallverhütung, Grenzsicherung oder Kriminalprävention? Wenn ein Problem nun wahrgenommen wird, ist das der Anfang von allem.

Man muss gar nicht ins Silicon Valley schauen. In Österreich soll zur Betreuung von Arbeitssuchenden das halb-automatisierte Arbeitsmarktchancen-Assistenzsystem (AMAS) eingeführt werden: Das System wurde nicht auf Chancengleichheit optimiert, sondern auf Effizienzsteigerung in der Beratung. Der Fall liegt momentan beim Bundesverwaltungsgerichtshof. Das AMAS errechnet aus Daten einen „Score“ für die einzelnen AMS-KundInnen, der ihre Vermittlungschancen als niedrig, mittel oder hoch einstuft, wobei das mittlere Segment besonders gefördert werden soll. Die AMS-BeraterInnen können die Einstufung übernehmen oder sie überstimmen.

Doris Allhutter beschreibt konkrete Verbesserungsvorschläge für den Einsatz von solchen Systemen im öffentlichen Bereich. Zunächst bildet jedes System Lebensrealitäten vereinfacht ab, „es gibt nie ein neutrales, abwägendes System, das Wahrheit ausspuckt. Im Design braucht es daher methodische und statistische Antidiskriminierungsmechanismen, es müssen Stakeholder einbezogen werden – in diesem Fall z.B. Arbeitssuchende – und es braucht Kontrollverfahren“. Ein Einspruchs- und Einsichtsrecht, die Verpflichtung zur stichprobenartigen Selbstkontrolle, das Offenlegen möglicher Diskriminierungspotenziale, Audits und Feedbackschleifen, um sich verstärkenden Ungleichheiten zuvor zu kommen.

Mit KI den Wohlfahrtsstaat zu unterstützen bleibt heikel. Wie wird der Fall ausgehen? „Es wird wohl eine politische Entscheidung. Dass Fachleute die Sachlage darlegen, wird den Daumen unter Umständen nicht nach oben oder unten drehen. Nicht nur datenschutzrechtliche Fragen sind relevant, sondern auch diskriminierende Dynamiken des Systems und Chancengleichheit müssen geprüft werden.“ Was gibt ihr als Sozialwissenschaftlerin nach Jahren als „Kassandra“ im Mainstream-Troja Hoffnung? „Seit 2008 haben sich Forschungsfelder entwickelt und Fahrt aufgenommen, die sich konkret mit Themen wie ‚discrimination aware data mining‘ und ‚fairness and justice in machine learning‘ beschäftigen und es formiert sich Widerstand, z.B. gegen die kürzliche Auflösung des Ethikteams bei Google“

Die Problembehebung ist mindestens so komplex, wie die Fehlersuche, weil nicht nur Daten bereinigt werden müssen. Es reicht nicht die Textcorpora zu stürmen mit mehr Ingeborg Bachmann, Meg Wolitzer, Amanda Gorman oder Toni Morrison. Es sollte Standards für die Datenbasis geben und mehr Trainingsdatensätze für die öffentliche Forschung, nicht nur für private Unternehmen. Aber jede Art von Daten übersetzt sich in Modelle, in die bestimmte Weltsichten schon eingeschrieben sind. Sie werden durch Anwendungsfelder und Methoden der Computerwissenschaft geprägt, durch typische Ansätze wie Effizienz, Kosteneinsparung und Problemlösung.

„Das alles gibt einen Denkrahmen für die Gestaltung vor. Wichtig sind Parameter wie Geschwindigkeit und Vereinfachung. Gesellschaftlich Relevantes findet meist weniger Berücksichtigung, als wirtschaftlich Relevantes“. Es gibt kritische ComputerwissenschaftlerInnen, denen die gesellschaftlichen Probleme bewusst sind, aber der Kern ist stark. „Das Thema wird nie abgeschlossen sein, weil sich die Gesellschaft verändert. Manche Diskriminierungen erkennen wir heute noch nicht als solche. Es ist ein moving target, bei dem man immer herausgefordert bleibt. Das ist schön ... und ärgerlich.“

In einem Forschungsprojekt hat sie erkundet, ob erhöhte Diversität in Forschungs- und Entwicklungsteams ein Heilmittel sein könnte. Die kurze Antwort: Ja, aber man muss tiefer graben, Methoden ändern und über interdisziplinäre Reflexion und Dekonstruktion neue Feedbackschleifen einbauen. In Workshops mit Computerwissenschaftlerinnen hat Doris Allhutter versucht herauszufinden, was einen dazu bringt, nicht über einen bestimmten Punkt hinausdenken zu können. Auf englisch wird das elegant als bias bezeichnet. Das hat ganz oft mit Machtverhältnissen zu tun, mit der eigenen Position in der Gesellschaft und was einem durch eigene Privilegien verborgen und unsichtbar bleibt.

In Form von Erinnerungstexten über eine Entscheidungssituation näherten sich Sozial- und Computerwissenschaften einander. Dabei wurde etwas erkennbar: Wo unterschiedliche Denkweisen zusammenkommen, werden Wertekonflikte und implizite Rahmen für Probleme sichtbar. Als typisches Problem bei Entscheidungssystemen wird etwa der Trade-off zwischen Genauigkeit und Fairness der Entscheidung beschrieben. Interdisziplinär beleuchtet zeigte sich, dass sich eine Erhöhung der Fairness nur negativ auf die Fehlerrate der privilegierten Gruppe auswirkt. Für Gruppen, die struktureller Diskriminierung ausgesetzt sind, verbessert sich Fairness UND Genauigkeit.

Ein Trade-off ist es daher nur aus einer machtblinden Perspektive. Aus der Denkschablone wegzukommen ist noch viel mehr notwendig: Es braucht heterogene Entwicklungsteams, eine breitere gesellschaftliche Debatte, Wissensaufbau, schon in den Ausbildungen muss interdisziplinäres Umdenken angestoßen werden, ein politisches Verständnis von (Computer-)Wissenschaft und Veränderungen im Recht.

Die Nominierung für den Käthe Leichter Preis 2020 war eine schöne Überraschung für sie im schrecklichen Corona-Jahr und eine Anerkennung für ihre Forschung seit der Diplomarbeit 2001. Das Positive ist: es liegt jetzt alles auf dem Tisch: „Es ist ein super Zeitpunkt für interdisziplinäre Arbeit, weil klar wurde, dass es passendes Handwerkszeug braucht, um soziotechnische Probleme lösen zu können. Als ich angefangen habe gab es die Beispiele und die Nachfrage noch nicht. Ich glaube, es braucht Widerstand auf vielen Ebenen, eine öffentliche Infrastruktur und Mittel, um sich nicht nur von großen Firmen abhängig zu machen.“ Als Sozialwissenschaftlerin ist sie gefordert etwas zu liefern, was funktionieren kann, „aber umsetzen können wir es nur gemeinsam, die Methoden bringen etwas in Bewegung und sie brauchen Zeit“

Was ist Ihr Lieblingsort in Wien? Der Wienerwald.

Ihr Wiener Lieblingswort? G‘nackwatsch‘n.

Wonach riecht  oder schmeckt Wien? Nach Mannerschnitten und Gemischtem Satz.

Was gibt es nur hier? Den echten Kasperl.

Haben Sie einen Buchtipp für uns? "Race after Technology" von Ruha Benjamin und
"Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence" von Kate Crawford.

Ihre Botschaft für Wien? Freundlichkeit ist nicht provinziell.


Bio Doris Allhutter

Studie zum AMS-Algorithmus – Zusammenfassung
Institut für Technikfolgen-Abschätzung (ITA) der Österreichischen Akademie der Wissenschaften

Astrid Kuffner
Astrid ist Wienerin, Working Mum, Wählerin, wählerisch, mag Menschen, Worte und Wale.
Nini Tschavoll
Nini schreibt, fotografiert und bloggt digital.
Mag aber auch analog noch immer.
Leave a comment

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.