Inside Facebook – Im Netz des Bösen / Teil 1

Im Sommer 2015 erscheint im Internet eine Stellenanzeige:
«Service Center Mitarbeiter. Möchten Sie Teil eines internationalen Teams mit guten Karrieremöglichkeiten werden?» Verlangt wurden Fremdsprachenkenntnisse, Flexibilität und Zuverlässigkeit. Arbeitsort: Berlin.
Als ich die Anzeige gesehen habe, dachte ich: totaler Glücksfall. Ich hatte monatelang nach einer Stelle in Berlin gesucht, für die ich kein Deutsch können muss.
Die Person, die das sagt, will unerkannt bleiben. Den Job, auf den sie sich bewarb, gibt es seit so kurzer Zeit, dass er nicht einmal einen richtigen Namen hat. Die Stellenanzeige deutet eher auf ein Callcenter hin als auf das, was die Bewerber wirklich erwartet: Manche sagen «Content-Moderation» dazu, andere nennen es «digitale Müllabfuhr». Die Aufgabe dieser Menschen: die Internetseiten ihrer Auftraggeber sauber zu halten. Sie klicken sich durch all den Hass und all den Horror, den Nutzer im Netz verbreiten. Und müssen entscheiden: löschen oder nicht? Es ist ein Job, von dem kaum etwas bekannt ist. Viele wissen nicht einmal, dass es ihn überhaupt gibt.
Lange ging man davon aus, dass solche Tätigkeiten vor allem von Dienstleisterfirmen in Schwellenländern erledigt werden, etwa in Indien oder auf den Philippinen. Einer der grössten Auftraggeber dieser Firmen: Facebook. Das soziale Netzwerk mit 28 Millionen Nutzern in Deutschland und 1,8 Milliarden Nutzern weltweit gibt so gut wie nichts darüber bekannt, wie es gefährliche Inhalte löscht, die dort jeden Tag massenhaft hochgeladen werden.
Erst im Januar dieses Jahres wurde öffentlich, dass über den Dienstleister Arvato, eine Bertelsmann-Tochter, auch in Berlin mehr als hundert Menschen als Content-Moderatoren für Facebook arbeiten. Wie viel Facebook Arvato für diese Arbeit bezahlt oder nach welchen Kriterien die Mitarbeiter ausgewählt werden – dazu macht das Unternehmen grundsätzlich keine Angaben.
Über mehrere Monate hinweg haben unsere Reporter mit zahlreichen ehemaligen und derzeitigen Mitarbeiterinnen und Mitarbeitern von Arvato gesprochen. Mit Journalisten zu reden wurde ihnen von ihren Vorgesetzten verboten, aber sie wollen ihre Geschichte erzählen. Viele fühlen sich von ihrem Arbeitgeber schlecht behandelt, sie leiden unter den Bildern, die sie täglich sehen, klagen über Stress und Erschöpfung und finden, dass ihre Arbeitsbedingungen öffentlich gemacht werden sollten. Einige stehen in der Hierarchie unten, andere weiter oben, sie kommen aus verschiedenen Ländern und sprechen verschiedene Sprachen. Manche wollten sogar mit ihrem Namen auftreten, weil sie schon gekündigt haben oder kurz davor stehen. Wir haben uns entschieden, alle Quellen zu anonymisieren. Denn alle Mitarbeiter haben Verträge unterschrieben, die Geheimhaltung verlangen. Wir geben ihre Aussagen in Kursivschrift wieder. Die Gespräche fanden persönlich in Berlin statt, via Skype oder über verschlüsselte Internetkommunikation.
Die meisten Bewerber sind junge Menschen, die irgendwie in Berlin gestrandet sind: Aus Liebe. Aus Abenteuerlust. Wegen des Studiums. Manche Bewerber sind Flüchtlinge aus Syrien. Für alle wirkt diese Aussicht sehr verlockend: ein Job bei einer grossen deutschen Firma, in Festanstellung, meist nur befristet, aber immerhin. Das Vorstellungsgespräch ist oft schnell erledigt, gefragt wird nach Fremdsprachenkenntnissen und Erfahrung mit Computern. Nur eine Frage wundert die Bewerber: «Können Sie verstörende Bilder ertragen?»
An unserem ersten Tag bekamen wir ein Einführungstraining. Wir waren etwa dreissig Leute in einem Seminarraum, Leute aus allen möglichen Ländern: Türkei, Schweden, Italien, Puerto Rico, auch viele Syrer.
Der Trainer kam mit strahlendem Lächeln in den Raum und sagte: Ihr habt das grosse Los gezogen. Ihr werdet für Facebook arbeiten! Alle haben gejubelt.
In der Einführung bekommen die Mitarbeiter die Regeln ihres Jobs bei Arvato erklärt. Zuerst: Niemand darf erfahren, für welchen Auftraggeber hier gearbeitet wird. Den Namen Facebook dürfen sie nicht in ihre Lebensläufe oder LinkedIn-Profile schreiben. Nicht einmal ihren Familien sollen sie sagen, was sie tun.
Ihre Aufgabe erklärt der Trainer den Arvato-Neulingen so: «Ihr reinigt Facebook von den Inhalten, die sonst auch Kinder sehen würden. Und indem ihr sie entfernt, entzieht ihr Terror und Hass die Plattform.»
Ein ehemaliger Mitarbeiter der Firma nennt die Einführung den Reportern gegenüber eine «Indoktrination»: Die Leute sollten das Gefühl bekommen, dass diese, wie er es nennt, «stupide und stumpfe Arbeit» vor allem dem Schutz der Gesellschaft diene – und nicht hauptsächlich den Interessen des Milliardenkonzerns Facebook, der Menschen möglichst lange auf seiner Seite halten will und deshalb darauf angewiesen ist, dass man dort nicht allzu viel Verstörendes sieht.
Im Training kamen Bilder, die nicht so schlimm waren: Penisse in allen Grössen und Formen. Wir haben gekichert. Schon komisch, sich so was bei der Arbeit anzuschauen. Na ja, das sollten wir ja auch löschen. Und entblösste Nippel.
Einmal waren wir abends etwas trinken mit Leuten, die diesen Job schon länger machen. Nach ein paar Bieren sagte einer: Wenn ich euch einen Tipp geben darf, schmeisst den Job hin, so schnell ihr könnt, er wird euch fertigmachen.
Die Mitarbeiter erhalten zum Einstieg Unterlagen, die neben den Geheimhaltungsklauseln auch mögliche Gesundheitsrisiken auflisten: Rückenschmerzen, Beeinträchtigung der Augen durch zu langes Starren auf Monitore. Psychische Gefahren, die etwa durch dauerhaftes Betrachten brutaler Inhalte entstehen können, werden darin mit keinem Wort erwähnt. Ausserdem bekommen die neuen Arvato-Mitarbeiter einen S-Bahn-Plan von Berlin, samt der Anmerkung: «Have a good time in Berlin!»
Die Arbeitsräume am Wohlrabedamm in der Berliner Siemensstadt sind nüchtern gehalten. Ehemalige Werksgebäude, Backstein, innen schmale, weisse Einpersonenschreibtische in Reihen hintereinander, darauf schwarze Computer mit weissen Tastaturen. Ergonomische Bürostühle, grauer Büroteppich. Platz für einige Dutzend Leute. Handys sind laut Arbeitsvertrag bei der Arbeit streng verboten. Im Erdgeschoss stehen ein Snackautomat und einer für Kaffee und heisse Schokolade. Es gibt einen grossen Innenhof für die Raucher. Auch andere Firmen sind im Gebäude untergebracht.
Man loggt sich ein, steuert eine Warteschlange an, wo sich Tausende gemeldete Beiträge stapeln, man klickt sich ein, und los gehts.
Es gebe maschinelle Filter, die Inhalte automatisch aussortieren, sagt ein Ex-Mitarbeiter. Doch gerade bei Bildern oder Videos tun sich Computer schwer, etwa die Darstellung einer medizinischen Operation von der einer Hinrichtung zu unterscheiden. Deshalb kommt der Grossteil der Beiträge, die das Team in Berlin durchsehen muss, von Facebook-Nutzern, die diese Beiträge als anstössig gemeldet haben, und zwar über die Funktion: «Diesen Beitrag melden – er sollte meiner Meinung nach nicht auf Facebook sein.»
Ich habe Sachen gesehen, die mich ernsthaft am Guten im Menschen zweifeln lassen. Folter und Sex mit Tieren.
Die gemeldeten Beiträge landen bei den Mitarbeitern auf der untersten Stufe der Hierarchie. Ihr Team heisst FNRP, das steht für «Fake Not Real Person». Sie sollen filtern: Welche der Textbeiträge, Bilder oder Videos, die Nutzer als problematisch gemeldet haben, verstossen wirklich gegen die sogenannten Gemeinschaftsstandards von Facebook? Erster Schritt: Untersuchen, ob der Inhalt von einem authentischen Echtnamen-Profil kommt. Falls nicht – daher die Bezeichnung «Fake Not Real Person» –, wird an das erfundene Profil eine Löschungsdrohung geschickt. Wenn sich der Nutzer daraufhin nicht glaubhaft identifiziert, wird das ganze Konto entfernt. So wird gegen Profile vorgegangen, die angelegt wurden, um verbotene Inhalte zu verbreiten.
Die Wochenarbeitszeit im FNRP-Team liegt bei vierzig Stunden, gearbeitet wird in zwei Schichten von 8.30 Uhr bis 22 Uhr. Das Monatsgehalt beträgt rund 1500 Euro brutto, wenig höher als der Mindestlohn von 8,50 Euro pro Stunde.
Die Content-Moderatoren, eine Hierarchiestufe höher, prüfen auch Videos. Besonders schwer zu entscheidende Fälle klären die «Subject Matter Experts». Darüber wiederum stehen die Gruppenleiter, deren Job als weniger belastend gilt: Sie sind kaum noch mit der Sichtung verstörender Beiträge beschäftigt.
Arvato ist ein Riese. Eine Firma, die Aufgaben übernimmt, die andere Firmen auslagern: Das Unternehmen betreut so unterschiedliche Dinge wie Callcenter, Vielfliegerprogramme und Versandzentren. In mehr als vierzig Ländern beschäftigt der Outsourcing-Dienstleister rund 70 000 Menschen. Arvato ist eine der tragenden Säulen des Mediengiganten Bertelsmann. Mehr als die Hälfte aller Bertelsmann-Mitarbeiter ist bei Arvato angestellt. Auf der Firmenwebsite steht das Motto: «Wie können wir Ihnen helfen?»
Einer der Gründe dafür, dass es jenes Facebook-Löschzentrum in Berlin gibt, ist wohl auch der zunehmende Druck der deutschen Behörden. Bundesjustizminister Heiko Maas forderte deutsche Ansprechpartner bei Facebook, die sich um Inhalte in deutscher Sprache kümmern und zweifelhafte Postings rasch entfernen. Momentan ermittelt die Staatsanwaltschaft München gegen Facebook wegen des Verdachts auf Beihilfe zur Volksverhetzung. Der Vorwurf: Die Firma lösche illegale Inhalte oft nicht zügig.
Im Frühsommer 2015 wurde eine kleine Gesandtschaft von Arvato in die Europa-Zentrale von Facebook eingeladen. Die beiden Unternehmen hatten sich auf eine Zusammenarbeit geeinigt: Das grösste soziale Netzwerk der Welt benötigte Hilfe beim Saubermachen seiner Seite; die Arvato-Manager sollten lernen, wie man dafür ein Team aufbaut. Im Herbst 2015 begann die Arbeit, zunächst blieb der Betrieb geheim.
Wie lange ist die Vertragsdauer zwischen Facebook und Arvato angelegt? Wie werden die Mitarbeiter auf ihre Tätigkeit vorbereitet? Hat Arvato vor Beginn eine Gefährdungsbeurteilung in Bezug auf die psychische Belastung für Content-Moderation erstellt? Unsere Reporter haben Arvato einen schriftlichen Katalog mit 19 Fragen vorgelegt. Arvato erklärt dazu nur: «Unser Auftraggeber Facebook hat sich vorbehalten, alle Presseanfragen zu der Zusammenarbeit mit Arvato selbst zu bearbeiten.»
Auch Facebook Deutschland antwortet auf mehrere schriftliche Anfragen der Reporter meist unkonkret oder mit dem Satz: «Dazu machen wir keine Angaben.» In manchen Punkten unterscheidet sich die Darstellung von Facebook von den Aussagen der derzeitigen und ehemaligen Arvato-Mitarbeiter, mit denen wir gesprochen haben. So schreibt Facebook, jeder Mitarbeiter im Facebook-Team von Arvato sei vor Beginn seiner Tätigkeit zu einem «sechswöchigen Training sowie einem vierwöchigen Mentoring-Programm» verpflichtet. Die von den Reportern befragten Angestellten berichteten zumeist jedoch von einer deutlich kürzeren Vorbereitung: zwei Wochen.
Bei Arvato sind die Löschteams nach Sprachen aufgeteilt. Auf dem Gang unterhält man sich auf Englisch, ansonsten in der Sprache der Teams: Arabisch. Spanisch. Französisch. Türkisch. Italienisch. Schwedisch. Und natürlich Deutsch. Die Teams sichten Inhalte, die aus ihrem jeweiligen Sprachraum kommen. Doch im Kern sind die Inhalte meist ähnlich.
Es ist eine zufällige Bildauswahl, was so aus der Warteschlange kommt. Tierquälerei, Hakenkreuz, Penisse.
In den Teams haben sich verschiedene Methoden etabliert, mit den schwer zu ertragenden Bildern umzugehen: Die Spanier tauschen sich laut untereinander aus, die Araber ziehen sich eher zurück. Die Franzosen sitzen oft nur still vor ihren Rechnern.
Am Anfang haben wir in den Mittagspausen noch Witze gemacht über die vielen Pornos. Aber irgendwann wurden wir alle bedrückter.
Löschen oder nicht löschen? Ist die Entscheidung getroffen, erscheint die nächste Aufgabe auf dem Bildschirm. Die Zahl der Fälle – Tickets genannt – kann man auf einer Anzeige auf dem Bildschirm verfolgen.
Die Bilder wurden immer schlimmer, viel krasser als im Training. Aber oft auch nichts anderes als das, was du in meinem Heimatland in der Zeitung sehen könntest. Gewalt, teils entstellte Leichen.
Immer wieder kommt es vor, dass Menschen im Raum aufspringen. Rausrennen. Heulen.
Die Mitarbeiter haben den Reportern Details erzählt, die zu grausam sind, um sie zu drucken. Schon die folgenden Darstellungen sind kaum zu ertragen.
Ein Hund war angebunden. Eine nackte Asiatin quälte das Tier mit einem heissen Eisen. Dann überschüttete sie es mit kochendem Wasser. Das war als Fetisch gemeint für Leute, die sich daran aufgeilen.
Kinderpornografie war das Schlimmste. Dieses kleine Mädchen, maximal sechs Jahre, das in einem Bett liegt, Oberkörper frei, und darauf sitzt ein fetter Mann und missbraucht sie. Es war eine Nahaufnahme.
Wer diese Inhalte zugeteilt bekommt, ist eine Mischung aus Türsteher und Fliessbandarbeiter: Das darf auf Facebook bleiben. Klick. Das nicht. Klick. Anfangs sollte jeder der FNRPs pro Tag etwa tausend Tickets erledigen: tausend Entscheidungen, ob etwas gegen das komplizierte Regelwerk von Facebook verstösst, die sogenannten Gemeinschaftsstandards, die festlegen, was auf der Seite veröffentlicht werden darf und was gelöscht werden muss.
Irgendwann kamen Enthauptungen, Terror, ganz viel Nacktheit. Ein Schwanz nach dem anderen. Unendlich viele Schwänze. Und immer wieder besonders Grauenhaftes. Schwer zu sagen, wie viel, das hängt davon ab. Ein bis zwei Fälle pro Stunde mit Sicherheit. Aber jeden Tag passiert dir etwas Schreckliches.
Nach ein paar Tagen sah ich meine erste Leiche, viel Blut, ich bin erschrocken. Ich habe das Bild sofort gelöscht. Mein Vorgesetzter kam dann zu mir und sagte: Das war falsch, dieses Bild verstösst nicht gegen die Gemeinschaftsstandards von Facebook. Ich solle beim nächsten Mal genauer arbeiten.
Das Wort «Gemeinschaftsstandards» mag harmlos klingen wie der Putzplan einer Studenten-WG. Doch hinter diesem Regelwerk steckt ein wohlgehütetes Geheimnis von Social-Media-Firmen. Darin wird detailliert bestimmt, welche Inhalte hochgeladen und geteilt werden dürfen, was gelöscht werden muss. Es ist eine Art Parallelgesetz der Meinungsfreiheit, festgelegt von Konzernen mit grossem Einfluss darauf, was Milliarden von Menschen jeden Tag sehen – und was nicht. Dabei geht es um mehr als um die Frage, ob eine entblösste Brustwarze anstössig ist oder nicht. Facebook ist ein wichtiges Mittel der politischen Bildung und Einflussnahme. Welche Inhalte dort geteilt werden, prägt das Bild der Gesellschaft entscheidend mit. Wie Katastrophen, Revolutionen oder Demonstrationen wahrgenommen werden, hängt auch davon ab, welche Bilder davon in den Facebook-Timelines landen. Trotzdem sind die allermeisten Details dieser Regeln weder öffentlich, noch haben Gesetzgeber Einblick in die genauen Kriterien, nach denen Inhalte zensiert werden oder zirkulieren dürfen.
Social-Media-Unternehmen veröffentlichen zumeist nur einen kleinen Teil dieses Regelwerks, der oft vage formuliert ist. Bei Facebook stehen dort Sätze wie: «Wir dulden in keiner Weise Verhaltensmuster, die Personen einer Gefahr aussetzen.» Wie genau dieses nicht geduldete Verhalten aussieht, wird nicht genauer erklärt. Ein Ex-Mitarbeiter begründet die Geheimhaltung dieser Regeln damit, dass man Menschen keine Hinweise liefern möchte, wie sie durch geschickt formulierte Inhalte an den Löschregeln vorbeikommen könnten. Eine absurde Logik: Wie ein Staat, der sein Gesetzbuch unter Verschluss hält, aus Angst, Leute könnten dadurch ihre verbrecherischen Methoden verfeinern.
Obwohl Facebook sich als offenes Unternehmen präsentiert, das Menschen nur eine Plattform zum Teilen von Informationen zur Verfügung stellt, gibt sich die Firma verschlossen, wenn es um die eigene Geschäftspraxis geht. Gerd Billen, Staatssekretär im Bundesjustizministerium und Leiter der Taskforce zum «Umgang mit rechtswidrigen Hassbotschaften im Internet», sagt: «Leider sehe ich aktuell keine ausreichende Bereitschaft bei Facebook, transparent und nachvollziehbar darzulegen, wie mit strafbaren Inhalten verfahren wird.» Selbst er als Vertreter des Bundesjustizministeriums durfte bis heute nicht bei Arvato vorbeischauen. «Ich habe mehrfach Transparenz über den Umgang mit verstörenden Inhalten eingefordert, etwa zu den genauen Regeln der Löschung oder zur Zahl und Qualifikation der Mitarbeiter in diesem Bereich. Doch blieb es bisher bei Lippenbekenntnissen», sagt Billen. Momentan prüft sein Ministerium Gesetzesvorhaben, die Facebook zu mehr Transparenz verpflichten würden.
Den Reportern liegen grosse Teile der geheimen Regeln von Facebook vor. Zum ersten Mal werden sie in diesem Umfang öffentlich. Zuletzt war Anfang 2012 auf der US-Website Gawker ein 17-seitiger Leitfaden mit Löschkriterien einer Firma aufgetaucht, die auch im Auftrag von Facebook tätig war.
Die internen Dokumente bestehen aus Hunderten von kleinen Regeln, sämtlich festgelegt von Facebook. Besonders interessant: die vielen Beispiele dafür, welche Inhalte gelöscht werden müssen und welche nicht.
Gelöscht werden muss unter anderem:
• Ein Bild einer Frau, die sich in der Öffentlichkeit übergibt – dazu der Kommentar: «Oh Gott. Du bist erwachsen. Das ist ekelhaft.» (Grund: Kommentar wird als Mobbing gewertet, und zwar durch die Äusserung von Ekel vor Körperfunktionen.)
• Ein unkommentiertes Foto eines Mädchens neben dem Foto eines Schimpansen mit ähnlichem Gesichtsausdruck. (Grund: Herabwürdigende Bildbearbeitung: eindeutiger Vergleich eines Menschen mit einem Tier.)
• Ein Video, in dem ein Mensch gequält wird, aber nur wenn darunter ein Kommentar steht wie: «Mir gefällt es zu sehen, wie viel Schmerz er da erleidet.»
Nicht gelöscht werden soll etwa:
• Das Video einer Abtreibung (es sei denn, es enthält Nacktaufnahmen).
• Das Bild eines Erhängten mit dem Kommentar «Hängt diesen Hurensohn.» (Gilt als erlaubte Befürwortung der Todesstrafe; verboten wäre es nur, wenn spezifisch auf eine «Geschützte Personengruppe» eingegangen würde, also dort etwa stünde: «Hängt diesen Schwulen auf!»)
• Bilder einer extrem magersüchtigen Frau ohne Kommentar. (Das Zeigen von selbstverletzendem Verhalten ohne Kontext ist gestattet.)
Der Umgang mit extremer Gewalt ist beispielsweise in Kapitel 15.2 geregelt, Bejubeln von Gewalt: «Wir erlauben nicht, wenn Menschen Bilder oder Videos teilen, in denen Menschen oder Tiere sterben oder schwer verletzt werden, wenn diese Form der Gewalt dabei zusätzlich bejubelt wird.» Was auf dem Bild zu sehen ist, spielt demzufolge keine Rolle, sondern nur die Kombination von Bild und Text. Als Beispiel werden Kommentare aufgezählt, die als das Bejubeln von Gewalt angesehen werden. Wenn jemand unter ein Foto eines Sterbenden schreibt: «Seht euch das an – so cool» oder «Fuck yeah» – nur dann müssen solche Bilder nach dieser Bestimmung gelöscht werden.
Die Regeln waren kaum zu verstehen. Ich habe meinem Teamleiter gesagt: Das gibts doch nicht, das Bild ist total blutig und brutal, das sollte kein Mensch sehen müssen. Aber er meinte nur: Das ist deine Meinung. Aber du musst versuchen, so zu denken, wie Facebook es will. Wir sollten denken wie Maschinen.
Aus der Facebook-Zentrale kommen ständig Neuerungen der Gemeinschaftsstandards. Bei Arvato gibt es jemanden, der die Änderungen im Blick behalten soll. Für Facebook ist das sehr wichtig. Schliesslich geht es darum, was Nutzer von der Plattform vertreiben könnte – und das oberste Ziel von Facebook ist das Gegenteil: möglichst viele Menschen möglichst lange auf der Plattform zu halten, damit sie möglichst viel Werbung sehen und Facebook möglichst viel Geld verdient.
Es ist keine leichte Aufgabe, die Facebook zu lösen hat: den Hass und den Wahnsinn der Menschen im Zaum zu halten und gleichzeitig sicherzustellen, dass wichtige Ereignisse nicht einfach unsichtbar bleiben. Die Lösch-Entscheidungen können ähnlich weitreichende Konsequenzen haben wie Entscheidungen über journalistische Berichterstattung.
Für Hunderte Millionen Menschen auf der Welt ist Facebook die wichtigste Nachrichtenquelle. Trotzdem gilt die Firma nicht als Medienkonzern, da sie keine eigenen Inhalte produziert, muss sich aber mit medienethischen Fragen befassen: Wann ist die Darstellung von Gewalt gerechtfertigt, etwa in der Kriegsberichterstattung, da sie dann einem höheren Ziel dient? Darüber denken Wissenschaftler seit Jahrzehnten nach, in sozialen Medien müssen diese Fragen schnell entschieden werden. Vor mehr als sieben Jahren wurde das Video der sterbenden Neda Agha-Soltan, einer jungen Frau aus Teheran, die bei Protesten erschossen wurde, zu einer ersten Bewährungsprobe für Facebooks Konkurrenten Youtube. Löschen oder nicht? Ein Youtube-Team entschied: Der Film ist ein politisches Dokument, er bleibt online, trotz seiner Brutalität. Längst versuchen Firmen, für solche komplexen Entscheidungen einfache Regeln aufzustellen. In den geheimen Facebook-Dokumenten steht: «Videos, die den Tod von Menschen zeigen, sind verstörend, können aber Bewusstsein schaffen für selbstverletzendes Verhalten, psychische Erkrankungen, Kriegsverbrechen oder andere wichtige Themen.» Im Zweifel sollen die Mitarbeiter bei Arvato solche Videos an ihre Vorgesetzten abgeben, besonders komplexe Fälle werden angeblich in der Europa-Zentrale von Facebook in Dublin bearbeitet.
Besonders krass war es bei den Terroranschlägen in Paris letztes Jahr. Da wurden Sondersitzungen einberufen, was mit den Livebildern passieren soll. Da sind ja brutalste Sachen bei uns gelandet, quasi in Echtzeit. Am Ende wurde uns gesagt, wir sollten die meisten Inhalte einfach ans arabische oder französische Team weiterleiten. Was damit passiert ist, weiss ich nicht.
Als die Anschläge in Paris losgingen, holten die Team-Leader uns Content-Moderatoren aus dem Wochenende. Ich bekam Anrufe und SMS von ihnen. Ich habe das ganze Wochenende durchgearbeitet.
Gesicherte Zahlen, wie viele Menschen weltweit beruflich damit beschäftigt sind, Facebook-Inhalte zu löschen, gibt es kaum. Die Leiterin der internationalen Facebook-Abteilung «Policy», Monika Bickert, verriet im März auf einer Konferenz, weltweit würden pro Tag mehr als eine Million Facebook-Beiträge von Nutzern als unzulässig gemeldet. Wie viele Menschen für das Löschen dieser Beiträge zuständig sind, sagte sie nicht. Die Medienwissenschaftlerin Sarah Roberts von der University of California in Los Angeles erforscht seit Jahren diesen neuen Beruf. Sie schätzt, dass bis zu 100 000 Menschen weltweit in solchen Jobs arbeiten, fast alle bei Dienstleistern, und nicht nur für Facebook. Roberts hat viele Löscharbeiter in verschiedenen Ländern interviewt und beschreibt etliche als traumatisiert. Die psychische Gesundheit dieser Menschen habe einen grossen Einfluss auf die Inhalte, die es in die Timelines schaffen. Denn viele seien nach monatelangem Sichten von Hass, Sex und Gewalt so zermürbt, dass sie fast jeden Inhalt durchgehen lassen. Dazu kommt: Um gründlich zu arbeiten, fehlt oftmals die Zeit.
Manche Videos muss man komplett durchschauen. Sie lassen uns das nicht durchskippen, auch wenn man allein die Screenshots anschauen könnte. Das Schlimme ist der Ton. Den muss man sich auch anhören, weil es eben sein kann, dass genau in der Tonspur etwas liegt, was nicht erlaubt ist. Hassreden beispielsweise oder Sadismus. Manche Videos sind ganze Filme, es kann über eine Stunde gehen.
Vielen Content-Moderatoren gehen die Bilder auch zu Hause nicht aus dem Kopf. Und dann kommen häufig auch noch Textnachrichten der Teamleiter. Dass man hinterherhinke. Ob man nicht eine Zusatzschicht einlegen könne. Das Arbeitspensum sei für die Mitarbeiter nicht zu bewältigen, sagt einer, der mittlerweile gekündigt hat.
Flexibel sein zu müssen ist man in Berlin gewohnt, vor allem wenn man aus dem Ausland kommt und kein Deutsch spricht. Denn längst ziehen nicht nur Bayern und Schwaben dorthin, sondern auch viele Menschen aus der globalen Mittelschicht: Inder, Mexikaner, Südafrikaner, junge, oft gut ausgebildete Leute – die in Berlin erleben müssen, dass sie trotz ihrer Bildung kaum jemand einstellen will. Rund dreissig Prozent der in Berlin lebenden Ausländer gelten als armutsgefährdet. Ein ehemaliger Mitarbeiter sagt:
Man kann Arvato nur für den Geschäftssinn gratulieren, sich Berlin für diese Arbeit ausgesucht zu haben. Hier gibt es einen Schmelztiegel an Sprachen und Kulturen, wo sonst findet man Schweden, Norweger, Syrer, Türken, Franzosen, Spanier, die dringend Arbeit suchen?
Die meisten dieser Zugezogenen sind verzweifelt, sie wollen unbedingt in der Stadt leben und nehmen dafür einen Job in Kauf, für den sie weit überqualifiziert sind, der ihre Seelen verletzt und viele von ihnen immer weiter abstumpfen lässt.
So kommt es, dass unter den Arvato-Löscharbeitern auch Quantenphysiker sind oder waren, Leute mit Doktortitel, ein Professor, oft Flüchtlinge, deren berufliche Qualifikationen in Deutschland nicht anerkannt werden. Ein ehemaliger Mitarbeiter erzählt, es sei schwierig gewesen, Menschen zu so einer zermürbenden Arbeit zu motivieren. Oder sie zu befördern. Denn wer zum Content-Moderator aufsteigt, muss auch Videos prüfen.
Ein Video könnte reichen, um mein Leben zu zerstören. Das wusste ich. Ich wollte auf keinen Fall zum Content Moderator befördert werden. Ich hatte Angst davor, was es meiner Psyche antun könnte. Content-Moderatoren sehen die schlimmsten Sachen, die man sich überhaupt vorstellen kann. In Bildern und in Videos.
Content-Moderatoren müssen noch schneller arbeiten als die FNRPs der untersten Hierarchiestufe. Pro Fall haben sie durchschnittlich acht Sekunden Zeit – obwohl sie immer wieder Filme komplett durchsehen sollen, die viel länger dauern. Sein Tagesziel seien mehr als dreitausend Fälle gewesen, erzählt ein Content-Moderator. Das deckt sich in etwa mit den Zahlen, die die US-Hörfunkgruppe NPR im November von Content-Moderatoren aus anderen Ländern zitiert hat – und die Facebook dem Sender gegenüber abstritt. Laut einem ehemaligen Mitarbeiter finden alle Arbeiten der Löschteams auf einer internen Facebook-Plattform statt, sodass die Firma seiner Meinung nach laufend über alle Zahlen unterrichtet sein müsste.
Gleichzeitig wäre es unmöglich, alle Videos wirklich durchzuschauen und zu prüfen. Sie sind so brutal, dass man einfach wegschalten will, obwohl man das nicht darf. Ausserdem muss man ja auf viele Dinge achten – oft ist nicht eindeutig, gegen welche Regel da gerade verstossen wird.
Du musst dein Tagesziel erreichen, sonst gibt es Ärger mit den Vorgesetzten. Der Druck war immens.
Im Frühjahr 2016 schreibt das spanischsprachige Löschteam einen Brief an den Vorstand von Arvato, in dem es um Überlastung, hohen Druck und schlechte Arbeitsbedingungen geht. Das Schreiben macht schnell die Runde bei allen Mitarbeitern: «Aufgrund von Überarbeitung haben wir um fünfminütige Pausen gebeten (…) Diesem Wunsch ist man leider bisher nicht nachgekommen. Zusätzlich muss erwähnt werden, dass zu all den oben genannten Schwierigkeiten noch die psychische Anstrengung hinzukommt, die bei der Bearbeitung von Tickets mit teilweise schockierenden Inhalten hervorgerufen wird.»
Geändert hat sich seitdem nichts, erzählen die Mitarbeiter. Viele berichten, mittlerweile würden statt tausend fast zweitausend Tickets pro Tag von den FNRP-Mitarbeitern erwartet. Facebook macht auf Nachfrage unserer Reporter dazu keine Angaben.
Meine Teamleiterin meinte: Wenn dir der Job nicht passt, kannst du ja kündigen.
Heute sind bei Arvato in Berlin mehr als sechshundert Menschen mit dem Löschen von Facebook-Inhalten beschäftigt, berichtet ein Mitarbeiter. Ständig werden es mehr. Im März 2016 wurde ein zweites Gebäude bezogen, wenige Fussminuten entfernt. Mitarbeiter hängten im Büro ein riesiges Facebook-Banner auf.
Es ist so ein Gegensatz: Natürlich fanden wir es cool, für Facebook zu arbeiten, die Firma, die jeder kennt und liebt. Man versucht halt, das Schlimme auszublenden.
Obwohl die Arbeit furchtbar sei, würden erstaunlich wenige kündigen, sagt eine unserer Quellen. Vielleicht weil sie den Job bräuchten, vielleicht weil sie abgestumpft seien. Ein Mitarbeiter des arabischen Teams sagt:
Es ist schlimm, aber so kann ich wenigstens verhindern, dass schreckliche Gewaltvideos aus Syrien weiterverbreitet werden.
Doch immer wieder kommen Videos, die Mitarbeiter zum Aufgeben zwingen.
Da war ein Mann mit einem Kind. Ein etwa dreijähriges Kind. Der Typ stellt die Kamera ein. Er nimmt das Kind. Und ein Schlachtermesser. Ich habe selbst ein Kind. Genau so eins. Es könnte dieses sein. Ich muss nicht mein Gehirn zerstören wegen dieses Scheissjobs. Ich habe alles ausgeschaltet und bin einfach rausgelaufen. Ich habe meine Tasche genommen und bin heulend bis zur Strassenbahn gelaufen.
Wissenschaftler verstehen unter einem seelischen Trauma ein belastendes Ereignis, das nicht ohne Weiteres bewältigt werden kann. Es ist oftmals das Resultat von körperlicher oder seelischer Gewalt und führt nicht selten zu posttraumatischen Belastungsstörungen. Harald Gündel, Professor für Psychosomatische Medizin am Universitätsklinikum Ulm und Präsidiumsmitglied der Deutschen Traumastiftung, hat einige der Abschriften gelesen, die unsere Reporter von Interviews mit Arvato-Mitarbeitern angefertigt haben. Für Gündel zeigen deren Schilderungen möglicherweise klassische Merkmale posttraumatischer Belastungsstörungen: belastende Bilder und Sequenzen aus den Videos, die auch ausserhalb der Arbeit immer wieder vor dem inneren Auge auftauchen; wiederkehrende Albträume; übertrieben schreckhafte Reaktionen in Situationen, die entfernt etwas mit dem Inhalt der Videos zu tun haben; Schmerzen, die sich nicht durch körperlichen Befund erklären lassen; sozialer Rückzug; Erschöpfung und abgestumpfte Verhaltensweisen; Verlust des sexuellen Interesses.
Seit ich die Kinderpornovideos gesehen habe, könnte ich eigentlich Nonne werden – an Sex ist nicht mehr zu denken. Seit über einem Jahr kann ich mit meinem Partner nicht mehr intim werden. Sobald er mich berührt, fange ich an zu zittern.
Mir sind plötzlich büschelweise Haare ausgefallen, nach dem Duschen oder selbst bei der Arbeit. Mein Arzt sagte: Du musst raus aus diesem Job.
Immer wieder sind Leute vom Schreibtisch aufgesprungen, in die Küche gerannt und haben das Fenster aufgerissen, um nach einem Enthauptungsvideo ein bisschen frische Luft zu atmen. Viele haben gesoffen oder exzessiv gekifft, um damit klarzukommen.
Facebook erklärt auf Anfrage der Reporter: «Es wird jedem Mitarbeiter angeboten, psychologische Betreuung in Anspruch zu nehmen. Dies geschieht auf Wunsch der Mitarbeiter und kann zu jedem Zeitpunkt in Anspruch genommen werden.» Die Mitarbeiter berichten jedoch übereinstimmend, sich mit ihren psychischen Problemen von Arvato alleingelassen zu fühlen. Ausreichende Betreuung habe es nicht gegeben, auch keine gezielte Vorbereitung auf die seelischen Belastungen der Arbeit mit schrecklichen Bildern und Videos.
Wir sollten unterschreiben, dass bei Arvato psychologische Hilfe angeboten wird, aber in Wahrheit war es unmöglich, Unterstützung zu bekommen. Sie haben nichts für uns getan.
Dass Arbeitnehmer auch vor Belastungen der Psyche geschützt werden müssen, ist seit 2013 im deutschen Arbeitsschutzgesetz, Paragraf 4 und 5, geregelt. «Es geht darum, nicht abzuwarten, bis gesundheitliche Schäden eintreten, sondern schon im Vorfeld die Risiken so weit es geht zu minimieren», sagt Raphaël Callsen, Anwalt für Arbeitsrecht bei der Kanzlei dka Berlin. Er vermutet Verstösse gegen das Arbeitsrecht bei Content-Moderatoren, die nicht professionell medizinisch betreut werden: «Der Arbeitgeber muss wirksame Schutzmassnahmen ergreifen. Beschäftigte sollten bei einem Video oder Bild, das sie verstört, die Arbeit unterbrechen dürfen und mit einem ständig zur Verfügung stehenden Ansprechpartner die Situation reflektieren können. Möglichst mit einem Arzt, der seiner ärztlichen Schweigepflicht unterliegt.» Keiner der Arvato-Mitarbeiter wusste von einem solchen Arzt zu berichten. Die Quellen berichten von offenen Gruppenterminen, bei denen man ohne Voranmeldung über Probleme sprechen konnte. Gehalten von einer Sozialpädagogin, keiner Psychologin, das sagen alle übereinstimmend. Keiner der Angestellten, mit denen wir sprachen, hat diese Sitzung je besucht. Sie scheuten sich, vor fremden Arbeitskollegen über ihre intimsten Probleme zu sprechen.
Eine Mitarbeiterin hatte immer wieder versucht, einen Einzeltermin bei der Sozialpädagogin zu bekommen. Sie musste lange warten. Irgendwann gab sie schliesslich auf. Auf Nachfrage macht Facebook keine genaueren Angaben über die Qualifikation der psychologischen Betreuer – oder darüber, ob diese der Schweigepflicht unterliegen.
Da, wo ich herkomme, würde so eine Sozialarbeiterin alles, was ich dort erzähle, sofort an meinen Chef melden. Und der würde mich dann entlassen. Keiner in meinem Team hat irgendein Vertrauen in diese Firma – warum sollten wir dann denen unsere Sorgen anvertrauen?
Dabei gibt es durchaus Beispiele, wie man mit Menschen umgehen kann, die beruflich mit grausamen Medieninhalten konfrontiert sind. Die Bundesprüfstelle für jugendgefährdende Medien, bei der ebenfalls brutale Videos begutachtet werden, bietet neuen Mitarbeitern regelmässig Schulungen zum Umgang mit belastenden Inhalten an. «Niemand muss sich solche Filme am Stück ansehen», sagt Martina Hannak-Meinke, die Vorsitzende der Bundesprüfstelle, «man kann jederzeit unterbrechen, etwas anderes tun und später weitermachen.» Es gibt Einzeltermine bei Sozialarbeitern. Psychologen und Traumaexperten stehen jederzeit bereit. Auch andere Behörden, deren Mitarbeiter sehr belastendes Material untersuchen, haben strenge Regeln: Mal dürfen solche Filme maximal acht Stunden pro Woche beurteilt werden, mal nur in Zweierteams, damit die Wirkung direkt diskutiert werden kann. Manche stellen für solche Tätigkeiten ausschliesslich speziell geschulte Juristen ein.
Ich war in meinem Heimatland beim Militär, Bilder von Krieg und Tod schockieren mich nicht. Was mich fertigmacht, ist die Unvorhersehbarkeit. Ein Video kriege ich nicht aus dem Kopf: Darin zertritt eine Frau mit hochhackigen Schuhen ein Katzenbaby als Teil eines Sex-Fetischvideos. Ich dachte nicht, dass Menschen zu so etwas fähig sind.
Das Katzenvideo musste gelöscht werden, es ist ein klarer Verstoss gegen Paragraf 15.1 der vorliegenden internen Dokumente: Sadismus. «Sexueller Sadismus ist der erotische Genuss von Schmerz eines Lebewesens» – also nicht erlaubt bei Facebook.
Die Umsetzung dieser Regeln überfordert viele Mitarbeiter. Manche berichten, dass sie in Schulungen nicht mitschreiben dürften, als Sicherheitsmassnahme, dass die geheimen Vorschriften nicht an die Öffentlichkeit kommen.
Die Gemeinschaftsstandards haben sich auch ständig geändert. Früher war das Bild eines abgetrennten Kopfes in Ordnung, solange der Schnitt gerade verlief. Was ist das für eine sinnlose Regel? Und wer legt sie fest?
In den Gemeinschaftsstandards gibt es ein Kapitel über Hassbotschaften, in dem genau geregelt ist, welche Beleidigungen zulässig sind. Darin steht: «Ursprünglich hat Facebook keine Inhalte gelöscht, in denen Migranten angegriffen wurden, da sie nicht zu einer geschützten Kategorie gehören, was eine negative Berichterstattung über die Facebook-Richtlinien zur Folge hatte und dazu führte, dass Deutschland damit drohte, den Betrieb von Facebook in Deutschland zu stoppen. Dies führte zu einer Aktualisierung der Gemeinschaftsstandards, laut der Migranten nun ebenfalls einen gewissen Schutz geniessen.» Einerseits verdeutlicht das: Politik und öffentlicher Druck haben durchaus Einfluss auf die Regeln, nach denen Facebook Inhalte verbietet und löscht. Andererseits zeigt sich darin exemplarisch ein Grundproblem von Unternehmen wie Facebook: Was oder wer in der Gesellschaft besonderen Schutz geniesst, das hat in Deutschland in erster Linie das Grundgesetz zu bestimmen – und nicht das Regelwerk einer Firma, das rasch angepasst werden kann, wenn ihr ein Imageschaden droht. Rein theoretisch: Was würde passieren, wenn der gesellschaftliche Konsens in den USA kippen und der Islam bei Facebook plötzlich weniger Schutz geniessen würde? Wenn die Hetze gegen Muslime weniger streng verfolgt würde als gegen die laut geheimen Facebook-Dokumenten unter anderem geschützten Christen, Juden oder Mormonen? Die Öffentlichkeit würde es womöglich nie erfahren. Selbst die kleinste Änderung der Gemeinschaftsstandards hat eine grosse Wirkung darauf, was Milliarden Menschen auf der Welt jeden Tag zu sehen bekommen.
Wir sehen so viel Leid – erfahren aber nie, was mit den Leuten passiert, die da abgebildet sind. Wie geht es den Kindern heute? Und werden die Täter verhaftet?
Die Inhalte, die von den Arvato-Mitarbeitern geprüft werden, verstossen nicht nur gegen moralische Vorstellungen, sondern oft auch gegen deutsches Recht. Wie Facebook mit illegalen Einträgen umgehen müsste, ist kompliziert. Nach deutschem Recht muss ein Plattformbetreiber, sobald er Kenntnis von einer konkreten rechtswidrigen Handlung oder Information hat, diese unverzüglich löschen oder den Zugang zu ihr sperren, erklärt der Fachanwalt für Medien- und IT-Recht Bernhard Buchner. Ansonsten laufen Firmen wie Facebook Gefahr, selbst in die Haftung zu geraten. Und damit nicht genug: Aus Paragraf 138 Strafgesetzbuch geht eine Liste von Straftaten hervor, die jeden, der von ihrer ernsthaften Planung erfährt, in die Pflicht nimmt, das Vorhaben anzuzeigen. Ein Beitrag auf Facebook, in dem jemand glaubhaft ankündigt, seine Klassenkameraden zu erschiessen, muss also nicht nur gelöscht, sondern auch gemeldet werden – entweder den Behörden oder den Bedrohten.
Bisher ist bekannt, dass Facebook Kinderpornos an das amerikanische National Center For Missing and Exploited Children (NCMEC) weiterleitet. Alle beim NCMEC eingehenden Hinweise werden dort gesichtet und an die für die weiteren Ermittlungen zuständigen Strafverfolgungsbehörden in den USA oder im Ausland weitergeleitet, erklärt das deutsche Bundeskriminalamt auf Anfrage. «Soweit die strafbare Handlung offensichtlich aus dem Bundesgebiet heraus erfolgt ist, werden die verfügbaren Fallinformationen dem Bundeskriminalamt übersandt.» Ob nicht nur Kinderpornografie, sondern auch andere Straftaten via Facebook bei deutschen Behörden landen? Details gibt Facebook nicht bekannt.
Es gibt bei Arvato durchaus Menschen, denen der Umgang mit den Content-Moderatoren Sorgen macht. Doch Facebook vertröstet sie mit einer Vision: Eines Tages würden Computer durch künstliche Intelligenz in der Lage sein, Inhalte zu erkennen, die gegen die Nutzungsbedingungen verstossen. Facebook, Twitter, Google und Microsoft gaben erst vor wenigen Tagen bekannt, dass sie Terrorpropaganda von ihren Seiten künftig in einer gemeinsamen Datenbank speichern und mit einem digitalen Fingerabdruck versehen wollen – so kann ein Bild, das bei Twitter gelöscht wurde, auch automatisch von Facebook entfernt werden. Einerseits ist das ein Gedanke, der Hoffnung macht: Dann müssten sich Menschen nicht mehr diesem Horror aussetzen. Doch es ist auch eine erschreckende Vorstellung: Algorithmen entscheiden, welche Inhalte Milliarden Menschen bei Facebook zu sehen bekommen, ein Computer beurteilt, was brutal ist und was nicht, wo Satire endet und wo Terrorismus beginnt.
Ich weiss, dass jemand diesen Job machen muss. Aber es sollten Leute sein, die dafür trainiert werden, denen geholfen wird und die man nicht einfach vor die Hunde gehen lässt wie uns.
Immer wieder habe ich diesen Traum: Menschen stürzen aus einem brennenden Haus. Sie zerschellen am Boden. Einer nach dem anderen landet in einer Lache aus Blut. Ich stehe unten und versuche, die Menschen zu fangen, aber es sind zu viele, und sie sind zu schwer, ich muss ausweichen, damit sie mich nicht erschlagen. Um mich herum stehen Leute, sehr viele, die nicht helfen. Sondern einfach mit ihren Handys filmen.
Im Zuge der Recherchen haben die Reporter ihre Quellen immer wieder gefragt, wie es ihnen geht. Einer hat seine Albträume überwunden, nur tagsüber kommen manchmal die Bilder wieder hoch. Als er kürzlich auf einer Leiter stand, um eine Glühbirne zu wechseln, blickte er nach unten – und sah plötzlich vor seinem inneren Auge den Boden, auf dem die angeblichen Homosexuellen aufschlagen, die IS-Schergen von einem Hausdach gestossen haben.
Eine hat das Land verlassen und lebt weit weg von Deutschland. Eine andere kämpft mit der Vorstellung, überall im Park Tierschänder zu sehen, am Strand Kinderschänder. Sie hat Arvato verlassen und nimmt nun psychologische Hilfe in einer Traumatherapie in Anspruch. Einer besucht einen Deutschkurs und will es mit seinem ursprünglich erlernten Beruf in Deutschland zu etwas bringen. Keiner von denen, mit denen wir sprachen und die noch bei Arvato arbeiten, hat vor, im Unternehmen zu bleiben.

‍