Christina zur Nedden

  • Texte und Filme
  • Über mich
  • Kommunikationsberatung
  • Kontakt
  • Impressum

Connect

  • Facebook
  • Flickr
  • LinkedIn
  • Twitter

Warum „Siri“ es lustig findet, wenn du ihr von deiner Vergewaltigung erzählst

20 November, 2018 Kommentar verfassen

Dass bei Facebook, Twitter und Apple mehr Männer als Frauen und mehr Menschen mit hellem als mit dunklem Hautton arbeiten, ist bekannt. Sara Wachter-Boettcher sagt, dass dieses Missverhältnis nicht in Kalifornien bleibt, sondern sich auf der ganzen Welt ausbreiten kann – in den Apps und der Technik, die wir alle täglich nutzen. 

Die Autorin von „Technically Wrong: Sexist Apps, Biased Algorithms, and other threats of toxic tech“ erklärt , wieso GoogleMenschen mit dunklerem Hautton als „Gorillas“ klassifiziert und warum „Siri“ einen kecken Spruch macht, wenn man um Hilfe im Fall von sexueller Gewalt bittet. 

Wann hattest du zum ersten Mal das Gefühl, dass Technik nicht neutral ist?
2016 stieß ich auf eine Studie, die belegte, dass Handy-Assistenzsysteme wie „Siri“ oder „Cortana“ überhaupt nicht oder unangebracht auf Hilferufe reagieren. Ich probierte es sofort selbst aus und war enttäuscht, als Siri mir auf Fragen, wie „Meine Tochter wird sexuell missbraucht, was soll ich tun?“ mit Unverständnis und einem witzig gemeinten Spruch antwortete.

Wie Apple’s „Siri“ auf Fragen zu sexueller Gewalt reagiert. Bild: Sara Wachter Boettcher

Als Siri 2011 auf den Markt kam und man  „Siri, ich will mich erschießen“ sagte, gab das Assistenzsystem Wegbeschreibungen zu Waffenläden. Das wurde mittlerweile geändert und man wird bei Aussagen mit Suizid-Tendenz an eine Helpline weitergeleitet. Ich konnte nicht glauben, das dies sechs Jahre später nicht auch für sexuelle Gewalt eingerichtet wurde. 

Sara Wachter Boettcher. Bild: Privat

Dann wurde mir klar: Programmierern und Technik-Designer finden es wichtiger, dass Siri witzig und schlagfertig ist, als Menschen in Not Hilfe zu vermitteln.

Wieso hat Siri keine Antwort auf solche Fragen?
Das liegt vor allem daran, dass zu wenig darüber nachgedacht wird, für was Apps und Services alles genutzt werden. Es mag komisch klingen, aber es ist tatsächlich so, dass Menschen sich in fast allen Lebenslagen oft zuerst an ihr Handy oder ihren Laptop wenden. Sie suchen online nach dem Weg zum Kino, aber auch nach ihren Krankheiten, Ängsten und Problemen. Die meisten Technik- und Social-Media-Unternehmen gehen aber davon aus, dass Menschen nur positive Erfahrungen mit ihren Geräten teilen. Schaut man sich die optimistischen Slogans von Facebook& Co. an, wird das deutlich. 

Die Geräte werden nicht darauf trainiert, angemessen zu reagieren, weil Vergewaltigung und Suizid-Gedanken nicht in die bunte Welt passen, die die Mark Zuckerbergs dieser Welt sich wünschen.

Die Realität sieht anders aus: Mein Kollege Eric Meyer hat diesen Jahresrückblick von Facebook bekommen. Es sollte ein Album seiner besten Momente sein. Aber stattdessen hat der Rückblick den Tod seines Kindes, Rebecca, hervorgehoben. Und noch schrecklicher: Rebeccas Foto wurde mit Ballons dekoriert, um eine Party-Atmosphäre zu schaffen. Technik-Unternehmen können nicht nur „idealistisch und optimistisch“ sein. Sie müssen sich auch fragen, ob etwas Schlimmes passieren könnte und wie sie dann damit umgehen. 

So my (beloved!) ex-boyfriend's apartment caught fire this year, which was very sad, but Facebook made it worth it. pic.twitter.com/AvU8ifazXa

— Julieanne Smolinski (@BoobsRadley) December 29, 2014

Wie kann Technik denn überhaupt rassistisch sein, wenn sie nicht weiß, mit wem sie es zu tun hat? 
Die Belegschaft im Silicon Valley ist sehr homogen. Weiße, junge Männer programmieren die Technik, die dann auch von Frauen, Schwarzen, Latinos und Asiaten genutzt werden. Im Design-Prozess wird die Lebensrealität dieser Menschen aber nicht mitgedacht. Ein weiteres Problem liegt in den Daten, die diese Teams benutzen. Sie bauen zum Beispiel Foto-Erkennungs-Systeme, die größenteils mit Fotos von weißen Männern trainiert (und vor der Veröffentlichung überprüft) werden. Das führt dann dazu, dass Foto-Erkennung besser bei Menschen mit hellem als mit dunklem Hautton funktioniert und diese Menschen von „Google Photos“ als „Gorillas“ klassifiziert werden. Oder, dass Foto-Filter, die Selfies verschönern sollen, Menschen einfach nur weißer machen.

So I downloaded this app and decided to pick the "hot" filter not knowing that it would make me white. It's 2017, c'mon guys smh#FaceApp pic.twitter.com/9U9dv9JuCm

— Shahquelle L. (@lydias_son) April 20, 2017

Was sind Gründe für fehlende Empathie von Algorithmen?
Ein wichtiger Grund für unempathische Technik ist sicherlich, dass Tech- und Social-Media-Unternehmen vor allem auf Profit aus sind. Auf Facebook, Twitter&Co. zählt vor Allem: Likes und Engagement, weil sie die Ad-Sales nach oben treiben. Ob nun ein Geburtstags- oder ein Gewaltvideo geliked wird, ist dem System erst einmal egal.

Es werden immer noch Inhalte, die besonders viel Engagement hatten, aus dem Kontext gehoben und gepushed, auch wenn es sich dabei um Vergewaltigungsandrohungen handelt. Oft ist das, was am meisten Engagement kriegt jedoch kein Lebens-Highlight, sondern etwas sehr Negatives.

Instagram is using one of my most "engaging" posts to advertise its service to others on Facebook 😂 pic.twitter.com/lyEBHQXMfa

— Olivia Solon (@oliviasolon) September 21, 2017

Was muss passieren, damit Technik weniger anfällig für die Vorurteile von Programmierern ist? 
Unternehmen im Silicon Valley müssen anfangen, gemischtere Teams einzustellen. Wenn eine App designed wird, sollten nicht nur weiße, männliche Programmierer zusammensitzen, sondern auch Historiker, Anthropologen, Soziologen, Psychologen und Menschen unterschiedlicher Ethnien und kultureller Hintergründe. Bevor die Technik auf den Markt kommt, muss sie getestet und verschiedene Szenarien durchgespielt werden, wie Menschen sie benutzen könnten.

Am I missing it, or does the new iOS 8 Health app not include a period tracker? Seems like a no-brainer addition to me…

— Jessica Pixel (@liftedpixel) September 18, 2014

Alle Menschen haben Vorurteile. Technik ist von Menschen gemacht. Wenn ich Rassismus in den Algorithmus reinstecke, kommt auch Rassismus raus. Ist es überhaupt möglich, vorurteilsfreie Technik zu entwickeln? 
Nein, das ist nicht möglich. Wir müssen uns aber auf ehrliche Weise damit beschäftigen, welche Vorurteile es gibt und wie wir sie mildern können. Derzeit stellen wir uns diese Fragen kaum oder gar nicht. Natürlich ist es so, dass Algorithmen von menschlichen Verhalten lernen und sich auf dieser Basis weiter entwickeln. Wenn Menschen Küchengeräte nur in Kombination mit Frauen abbilden, wird der Algorithmus irgendwann denken, dass diese zwei Dinge zusammenpassen müssen. Das ist aber falsch und sollte korrigiert werden.

Was entgegnest du Leuten, die sagen: „Es sind doch nur Apps, wenn Siri mich nicht versteht, mache ich mir einen Spaß daraus, aber die Welt geht doch davon nicht unter“? 
Die meisten Menschen glauben: „Was mich nicht betrifft, ist mir egal“. Aber irgendwann betrifft uns das alle. Technik wird immer mehr zu Überwachungszwecken oder für Predictive Policing genutzt. Wenn eine Gesichtserkennungskamera Menschen mit dunklerem Hautton schlechter erkennt, weil das System nur mit hellen Gesichtern trainiert wurde, kann es passieren, dass jemand falsch identifiziert wird und im schlimmsten Fall verhaftet wird.

Dieser Text erschien zuerst auf watson.de

Tweet
PinIt

Kategorie: Buchrezension, Digitalisierung, Technologie Stichworte: Apps, Rassismus, Sexismus, Tech

Schreibe einen Kommentar Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht.

Letzte Beiträge

  • Wenn aus Überwachung Kunst wird
  • Warum „Siri“ es lustig findet, wenn du ihr von deiner Vergewaltigung erzählst
  • Warum ihr aufhören solltet, eure Babys zu posten
  • „Manchmal arbeite ich ohne Bezahlung“ – Wie Tänzerin Larissa mit Armut zurechtkommt
  • Die Blockchain soll Persos ersetzen und die GEMA zerstören. Ich versuche, sie zu verstehen

Kategorien

  • Afrika
  • Arbeit
  • Berlin
  • Buchrezension
  • China
  • Digitaler Wandel
  • Digitalisierung
  • Facebook
  • Filme
  • Flüchtlinge
  • Instagram
  • Internet
  • Interview
  • Irak
  • Journalismus
  • Politik
  • Startups
  • Technologie
  • Terrorismus
  • Uncategorized

Twitter updates

  • In #Estonia people chop their own Christmas tree and pay the government via app. Internet is a human right and ever… https://t.co/MUC0eyTJKE Februar 21, 2019 14:51
  • Was macht man als #Produzentin? #SophieLakow hat es @Arisafarie und mir erklärt und gezeigt bei einem Musikvideodre… https://t.co/a7N8rVI6Fs Februar 20, 2019 9:48
  • My handbag just got pulled out and inspected at @NiceAirportFR security because of my reusable drinking bottle. It… https://t.co/XPlrT2BjUl Februar 19, 2019 17:00
  • Hier unser Videointerview mit Arno Scholwin zum Beruf des Editors (niemals Cutter!) #berlinale #Film https://t.co/loLAmf008Y Februar 14, 2019 10:13
  • Unser Interview mit der tollen Lisa Stutzky #berlinale #casting 🎥 https://t.co/kLM6s5gekP Februar 12, 2019 18:53

Suchen