Digitale Werbung auf dem Prüfstand des Allgemeinen Gleichbehandlungsgesetzes
Von Ann Kathrin Sost
Wäre es nicht schön, beim Surfen genau den Sessel angeboten zu bekommen, der seit Jahren gesucht wird? Den ultimativen Geheimtipp für den Urlaub? Das definitiv neue Lieblingsbuch? Und nicht zum x-ten Mal die Werbung des Billigsupermarkts, des Schoko-Nuss-Riegels, gegen den man allergisch ist, die unbequemen Schuhe? Für Werbetreibende sind Algorithmen, die zielgenau Werbung zu steuern vermögen, sicher ein Traum, und auch für Verbraucher*innen scheinen sie auf den ersten Blick eine tolle Sache? Es ist allerdings nicht nur die massenhafte Sammlung von Daten, die einen skeptisch werden lassen sollten. Ebenso wichtig ist es, das grundsätzliche Diskriminierungspotenzial zu betrachten, das Algorithmen innewohnt. Und das ist in vielen Fällen sehr viel komplizierter zu greifen und zu ahnden, als wenn „nur“ Menschen diskriminieren. Drei Beispiele:
Der Algorithmus von Facebook zeigt Werbeanzeigen für Bodybuilding-Produkte viel häufiger Männern, während Frauen eher Werbung für Kosmetik erhalten. Noch drastischer: Werbung für Mietangebote von Immobilien wurden in den USA deutlich häufiger an Afroamerikaner*innen ausgespielt als Kaufangebote – alles ohne entsprechende Vorgaben der Werbenden (Quelle). Die gibt es natürlich auch im Angebot von Facebook, die aktive und seit langem umstrittene Zielgruppenauswahl, die, dann bewusst, ausgrenzend und diskriminierend sein kann.
Stellenanzeigen aus dem MINT-Bereich werden Männern häufiger angezeigt
Eine andere Studie wies Geschlechterunterschiede bei der Werbung für wissenschaftliche, technische, mathematische und Ingenieursberufe nach: Eine Testwerbeanzeige bei Facebook wurde in 191 Ländern häufiger Männern als Frauen angezeigt. Ähnliche Ergebnisse ergaben sich bei Instagram, Twitter und dem Google Display Network.
Ein drittes Beispiel: Eine Studie wies nach, dass Facebook Bilddaten analysiert und sie nach Geschlechtern unterschieden ausliefert. Dabei ging es um Bilder in Werbung mit stereotypen Bildern wie Baumaschinen oder Militär auf der einen, Blumensträuße oder Parfüm auf der anderen Seite – wer bekam wohl was zu sehen?
Es ist natürlich nicht nur Facebook, dessen Algorithmen in der Werbung mindestens problematische Auswirkungen haben. Dass sich die untersuchten Beispiele hier häufen, liegt eben daran, dass Facebook eine beliebte und für Werbung häufig genutzte Plattform ist. Bemerkenswert bleibt, wie selten Werbung in den Fokus der Diskussionen um Algorithmen und ihre Risiken steht. Dabei haben die Entscheidungen eines Algorithmus darüber, wer welche Anzeigen ausgespielt bekommt, durchaus das Potenzial, Rollenbilder zu verfestigen, stereotype Entscheidungen zu verstärken und durch die Nicht-Anzeige bestimmte Gruppen zu diskriminieren.
Wo Algorithmen wirken, ist Diskriminierung nicht fern
Die von der Antidiskriminierungsstelle des Bundes geförderte Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ zeigt: Nahezu jedes System, das auf Algorithmen beruht, ist anfällig für Diskriminierung. Das hat teilweise skurrile Folgen: Etwa wenn YouTube bei der automatischen Transkription von Frauenstimmen und solchen mit schottischem Dialekt schlechter abschneidet als bei Männerstimmen. Es hat aber massive negative Auswirkungen, wenn zum Beispiel automatische Systeme zur Ermittlung von Strafrückfälligkeit rassistisch diskriminieren, oder Patient*innen durch ein Zuordnungssystem eine bessere medizinische Behandlung bekommen, wenn sie weiß sind.
Natürlich: Es sind Menschen, die Algorithmen programmieren, und deshalb fließen in die Programme auch ihre Vorurteile mit ein, die dadurch wiederum verstärkt und weiter verbreitet werden. Das ist aber nur ein Teil des Problems und sicherlich der, der sich vergleichsweise am leichtesten erkennen und beheben ließe, durch deutlich bessere Transparenz und Sensibilisierung. Lernende Systeme dagegen – manchmal auch künstliche Intelligenz genannt – erstellen ihre Regeln selbst, indem sie große Datenmengen auswerten, und treffen dann Entscheidungen.
Beispiel Jobsuche. Natürlich darf ein Arbeitgeber nicht wegen des Geschlechts diskriminieren und wird sich im Zweifelsfall auch daran halten wollen. Dass lernende Systeme nach anderen Kriterien vorgehen, zeigte 2018 das Beispiel Amazon: Hier hatte das Programm eingehende Bewerbungen mit den erfolgreichen Neueinstellungen der vergangenen zehn Jahre verglichen. Da sich vor allem Männer beworben hatten – und eingestellt wurden – filterte die Software Frauen eher heraus, da diese automatisch als wenig erfolgversprechend erschienen.
Algorithmen reproduzieren unsere Vorurteile
Das Beispiel zeigt: Algorithmen lernen aus der Vergangenheit und reproduzieren dadurch die bestehenden Verhältnisse. Algorithmen haben keine Visionen, und solange sie nicht dahingehend programmiert werden, nehmen sie aktuelle gesellschaftliche Debatten über Diskriminierung, Rassismus und andere Formen der Ausgrenzung nicht wahr. Wenn Schwarze Menschen in den USA eher mieten als kaufen und sich damit signifikant anders verhalten als weiße, dann sehen Algorithmen nicht die gesellschaftliche Spaltung, die dem zugrunde liegt. Dass Frauen in vielen Berufsfeldern nach wie vor benachteiligt werden, dass wir das als Gesellschaft eigentlich verändern wollen, davon weiß der Algorithmus erst einmal nichts.
Hinzu kommt: Betroffene erkennen meistens überhaupt nicht, dass sie diskriminiert wurden – im Falle von Werbung bekommen sie die Alternativen nicht zu Gesicht, in anderen Fällen bleibt intransparent, warum so und nicht anders entschieden wurde – wie es zu einer Stellenvergabe kam, wie der Kreditrahmen bemessen wird, wer die Wohnung erhält. Solche Systeme, die aufgrund bestimmter Muster Menschen in Gruppen einteilen und ihnen gegebenenfalls Informationen und Teilhabe vorenthalten, widersprechen allem, wofür Antidiskriminierung steht. Sie betreffen auch die verfassungsrechtlich gewährten Persönlichkeitsrechte, allen voran das Recht auf freie Entfaltung der Persönlichkeit. Denn ein Algorithmus konstruiert ein Bild, eine Identität, eine Schublade, aufgrund derer er Informationen preisgibt oder eben vorenthält.
Das allgemeine Gleichbehandlungsgesetz
Was also tun? Viele der Akteur*innen, über die wir reden, sind internationale Unternehmen wie Facebook, die seit Jahren kategorisch Einsicht in ihre Algorithmen verweigern. Sie zum Umdenken zu bewegen, braucht Staaten, die bereit sind zur Regulierung. Auf nationaler Ebene greift in Deutschland eigentlich das Allgemeine Gleichbehandlungsgesetz (AGG) – hier wie bei anderen Formen der Diskriminierung: Benachteiligungen aufgrund von Alter, Behinderung, ethnischer Herkunft, Geschlecht, Religion/Weltanschauung oder der sexuellen Identität sind dem AGG zufolge in der Arbeitswelt und beim Zugang zu Gütern und Dienstleistungen unzulässig. Die digitale Welt ist davon nicht ausgenommen. Aber es ist eine rechtliche Herausforderung, wenn die Quelle der Diskriminierung in einem Code verborgen bleibt – oder von den Betroffenen gar nicht erst erkannt werden kann.
Es gibt seit längerer Zeit Bewegung, um Lösungen zu schaffen: Zuletzt hat Bundespräsident Frank-Walter Steinmeier die Schirmherrschaft für ein Forschungsprojekt „Ethik der Digitalisierung“ übernommen, das konkrete Handlungsempfehlungen für die Digitalpolitik erarbeiten soll. Die Datenethikkommission der Bundesregierung hat bereits 2019 sehr konkrete Forderungen ausgearbeitet. In anderen europäischen Ländern gab es bereits Fälle algorithmengestützter Diskriminierung vor Gericht – hier steht das noch aus.
Es wäre gut, hier vorzusorgen: Etwa durch konkrete Dokumentationspflichten für Unternehmen und Verwaltungen, die Algorithmen in rechtlich sensiblen Bereichen nutzen, ein Einsichtsrecht und präventive Angebote wie etwa Schulungen von Personal- und IT-Verantwortlichen.
Ann Kathrin Sost ist Journalistin und arbeitet bei der Antidiskriminierungsstelle des Bundes im Referat Presse und politische Planung. 2020 unterstützt sie den Goldenen Zaunpfahl als Jury-Mitglied.