Cui bono, wenn die schlimmsten Inhalte des Internets von Menschen weggesehen werden, die selbst niemand sieht
Jeden Tag verschwinden auf Facebook, YouTube und TikTok Millionen von Beiträgen, bevor die meisten Nutzer sie je zu Gesicht bekommen. Wer entscheidet das? Nicht in erster Linie ein Algorithmus, sondern ein weltweit verstreutes, weitgehend unsichtbares Heer von Menschen: Content-Moderatoren. Ihre Arbeit ist so alt wie die Plattformen selbst – und ihr Preis wird seit Jahren dokumentiert, ohne dass sich am Grundmodell viel geändert hätte.
Die UCLA-Forscherin Sarah T. Roberts prägte 2010 den Fachbegriff "Commercial Content Moderation" (CCM). Ihre Feldforschung über acht Jahre hinweg (Dissertation 2014, Buch "Behind the Screen" 2019) beziffert die weltweite Zahl der CCM-Arbeiter auf über 100.000 Menschen – von Silicon Valley bis Manila, größtenteils über Subunternehmer angestellt und öffentlich anonym.
2018 brachte die Dokumentation "The Cleaners" von Hans Block und Moritz Riesewieck erstmals ein breiteres Publikum mit dieser Branche in Kontakt. Der Film zeigt, wie Facebook, Google und Twitter die Sichtung ihrer Inhalte an Drittfirmen in Manila auslagern, deren Mitarbeiter unter Decknamen arbeiten und Verschwiegenheitsklauseln unterschreiben müssen. Die Regisseure beschreiben in ihren Director's Notes, dass die Symptome vieler Moderatoren denen heimkehrender Kriegssoldaten ähneln – mit dem Unterschied, dass die Betroffenen unsichtbar bleiben müssen, oft nicht einmal die eigene Familie weiß, was sie täglich am Bildschirm sehen.
Ein Moderator im Film schafft nach eigener Aussage bis zu 25.000 Bilder pro Tag. Eine Moderatorin überträgt IP-Adressen mutmaßlicher Kindesmissbraucher an das FBI. Ein anderer vergleicht seine Tätigkeit mit der eines Scharfschützen – schnelle, gnadenlose Entscheidungen in Sekunden, "Delete" oder "Ignore", ohne Zeit zum Nachdenken. Für die Doku wurden eigens Psychologen der University of the Philippines sowie ein Berliner Trauma-Zentrum konsultiert, weil die Regisseure selbst nicht auf eine solche Belastung vorbereitet waren.
Bereits 2018 verklagte die ehemalige Facebook-Moderatorin Selena Scola den Konzern wegen posttraumatischer Belastungsstörung, die sie auf neun Monate ununterbrochener Sichtung disturbierender Inhalte zurückführte. Der Fall mündete 2020 in einen Vergleich: Facebook zahlte 52 Millionen US-Dollar an mehr als 10.000 aktuelle und ehemalige Moderatoren, mindestens 1.000 Dollar pro Person, bis zu 50.000 Dollar bei nachgewiesener PTBS-Diagnose. Als Auflage verpflichtete sich der Konzern zu technischen Schutzmaßnahmen wie automatischer Stummschaltung und Schwarzweiß-Darstellung belastender Videos sowie zu regelmäßiger, teils wöchentlicher psychologischer Betreuung.
Der Vergleich wurde direkt mit Facebook geschlossen – obwohl die meisten Moderatoren offiziell bei Subunternehmen wie Accenture, Cognizant oder CPL angestellt waren. Genau dieses Outsourcing-Modell dient sonst als rechtlicher Schutzschild: Es verschafft den Plattformkonzernen Flexibilität, niedrigere Kosten – und eine Distanz zu genau solchen Klagen. Ob dieser Schutzschild auch nach europäischem Recht hält, wird sich in einem parallel laufenden irischen Verfahren gegen CPL und Facebook zeigen.
Was in den USA zu einem Millionenvergleich führte, wiederholt sich seither in Afrika – mit deutlich zäherem Verlauf. Der südafrikanische Facebook-Whistleblower Daniel Motaung organisierte 2019 einen Streik bei Samasource (später "Sama") in Nairobi und wurde daraufhin entlassen. 2022 reichte er Klage gegen Meta und Sama ein: Vorwurf Zwangsarbeit, Menschenhandel für Arbeit und Union Busting. Ein kenianisches Berufungsgericht entschied 2023, dass Meta direkt vor kenianischen Gerichten verklagt werden kann – nicht nur der Subunternehmer.
Nach eigenen Angaben kenianischer Moderatoren begann die Arbeit mit dem Anblick verstörender Bilder – sexueller Handlungen, Kindesmissbrauch, Enthauptungen –, gefolgt von Albträumen über die gesehenen Inhalte. Zugesagte psychologische Betreuung war den Berichten zufolge nicht in der Krankenversicherung abgedeckt. Vergütung für vergleichbare KI-Trainingsdatenarbeit wird mit rund 2 US-Dollar pro Stunde beziffert.
Der eigentliche Cui-bono-Punkt liegt nicht in der Existenz von Content-Moderation an sich – ohne sie wären Plattformen mit Milliarden Nutzern schlicht unregulierbar. Er liegt in der bewussten Auslagerung an Subunternehmer in Ländern mit schwächerem Arbeitsrecht und geringeren Klagerisiken. Das Modell verschafft den Konzernen genau das, was ein Sprecher gegenüber der taz offen einräumte: Flexibilität, geringere Kosten – und Schutz vor arbeitsrechtlichen Auseinandersetzungen. Erst wenn Gerichte, wie 2023 in Kenia geschehen, diesen Schutzschild durchbrechen, wird der Konzern selbst greifbar.
Plattformbetreiber verweisen regelmäßig darauf, dass eine vollständige Automatisierung technisch schlicht nicht möglich ist – Grauzonen, Kontext und Satire lassen sich von Algorithmen bislang nicht zuverlässig erkennen, menschliche Prüfung bleibt notwendig. Zudem sind die Löhne der Moderatoren, so unterbezahlt sie im internationalen Vergleich wirken, in vielen Herkunftsländern über dem lokalen Durchschnittseinkommen angesiedelt, was die Jobs dort auch als attraktiv gelten lässt – ein Punkt, den auch die "The Cleaners"-Regisseure einräumen, wenn sie beschreiben, wie stolz viele der jungen Angestellten anfangs auf ihre Tätigkeit sind. Auch das Argument, Prävention gegen Terrorpropaganda und Missbrauchsdarstellungen benötige zwangsläufig Menschen, die genau dieses Material zuerst zu Gesicht bekommen, ist sachlich nicht von der Hand zu weisen.
Wissenschaftlich untermauert wird die strukturelle Kritik durch die Forschung von Sarah T. Roberts, die als Beraterin für "The Cleaners" fungierte. Ihre Kernthese: Die Unsichtbarkeit der CCM-Arbeiter ist kein Nebeneffekt, sondern Teil des Geschäftsmodells – sichtbares Leid würde PR-Schaden bedeuten, also bleibt die Arbeit strukturell im Verborgenen, obwohl sie für das gesamte kommerzielle Internet unverzichtbar ist.
Ein separater Text wird sich mit TikTok/ByteDance befassen – einer Plattform, die einerseits für besonders rigide KI-gestützte Zensurpraktiken bekannt ist, gleichzeitig aber selbst unter erheblichem öffentlichem und politischem Druck steht. Dieser scheinbare Widerspruch verdient eine eigene, tiefere Analyse.
KI-Transparenzhinweis gemäß Art. 50 EU-KI-VO: Dieser Text wurde mit KI-gestützter Recherche- und Schreibunterstützung erstellt und redaktionell geprüft.