Tristan Harris ist einer der einflussreichsten Menschen im Silicon Valley. Mark Zuckerberg hört auf ihn, ebenso der israelische Historiker Yuval Noah Harari. Der 34-Jährige ist in San Francisco geboren, studierte Informatik in Stanford, gründete und verkaufte ein Unternehmen, arbeitete bei Apple, bei Google. Dort erkannte er, dass die Google-Computer Systeme entwickeln, um unsere Instinkte zu kontrollieren. «Das Silicon Valley hat unseren Verstand gehackt», verkündete er 2016 und prophezeite eine Art sozialer Klimakatastrophe, einen Zusammenbruch der Gesellschaft. Um das zu verhindern, müssten die Unternehmen umdenken und dafür sorgen, dass die Zeit, die wir auf Google, Netflix oder Youtube verbringen, nützlich und positiv wird – «Time Well Spent» ist Harris’ Schlagwort. Er gründete mit anderen Tech-Aussteigern das Center for Humane Technology.
Wir treffen Tristan Harris in den gläsernen Räumen des Co-Working-Space im Mission-Quartier in San Francisco. Harris hat nur genau eine Stunde Zeit, dann muss er weiter; «ich muss die Welt retten», sagt er.
Das Magazin: Herr Harris, wenn ich Youtube öffne – was passiert dann auf der anderen Seite des Bildschirms?
Tristan Harris: Ein Supercomputer wird aktiviert, der, basierend auf Ihren Daten, einen Avatar von Ihnen öffnet, also eine simulierte Version von Ihnen. Youtube hat solche Avatare von jedem vierten Menschen auf der Erde. Es gibt also 1,9 Milliarden «Laborratten».
Und was macht Youtube mit dieser simulierten Version von mir?
Es setzt Ihrem Avatar Millionen verschiedener Videos vor und fragt: «Welches Video willst du als nächstes schauen?» Dann errechnet der Supercomputer die Videos, die Sie am längsten auf der Plattform halten werden, und diese erscheinen dann auf der rechten Seite Ihres Bildschirms als «Empfehlungen». Diese perfekt auf Sie zugeschnittenen Vorschläge sind der Grund, warum wir immer länger auf Youtube sind als geplant.
Fernsehen schauten wir auch immer länger als gewollt. Was ist anders bei Youtube?
Das Problem liegt darin, dass Youtube einen Hang zur Radikalisierung hat. Wenn ein Teenager mit einem Diätvideo beginnt, werden ihm als Nächstes Anorexievideos empfohlen. Wenn Sie ein Nachrichtenvideo zum 11. September schauen, werden als Nächstes Verschwörungstheorien und Sendungen von «Infowars» gezeigt – Youtube hat 15 Milliarden Mal Videos dieses radikalen Verschwörungskanals empfohlen!
«Youtube hat einen Hang zur Radikalisierung»: Tristan Harris, 34, Silicon-Valley-Deuter. (Bild: Robert Gumpert/Redux/Laif)
Nimmt irgendjemand diesen offensichtlichen Unfug auf Youtube ernst?
Wenn nur einer von tausend Zuschauern das glaubt, ist das bei dieser Grössenordnung so, als ob man monatlich einmal Scientology gründen würde. Wenn Videos 15 Milliarden Mal vorgeschlagen werden, kommt es zu rund zwei Milliarden Views. Davon jeder tausendste – das gibt zwei Millionen neue Kultanhänger.
Warum werden mir nach dem Schauen eines 11.-September-Beitrags Sendungen von Infowars empfohlen? Warum hat Youtube diese Radikalisierungstendenz?
Guillaume Chaslot, meine Teamkollege, der bei Youtube die Vorschlagsfunktion mitgebaut hat, hat das kürzlich erklärt: Weil die künstliche Intelligenz von Youtube die Nutzungszeit maximieren will, nimmt sie Powernutzer als Vorbild. Sie kopiert deren Verhalten. Und verstärkt es so. Kurz gesagt, lernt die KI von Freaks. Und die schauen extreme Inhalte.
Die Popularität von Verschwörungstheorien ist also maschinell produziert. Dieser Supercomputer – ist das eine künstliche Intelligenz?
Genau. Manche fürchten ja, dass die KI zu einem Terminator wird, der uns alle tötet. Andere fürchten den Moment der «Singularität», in dem die Computer schlauer sind als wir. Was alle übersehen, ist, dass Maschinen etwas ganz anderes machen: Die Youtube-KI versucht nicht, dich zu töten, sie ist auch nicht schlauer als du, sie hat einfach deine Schwäche identifiziert: Sie weiss, was du als Nächstes schauen willst.
Noch vor wenigen Jahren rannten alle die Rolltreppen ungeduldig hinunter, heute stehen alle still, weil sie in ihre Telefone starren. Was hat das für Auswirkungen?
Das Problem entfaltet sich in zwei Schritten. Das erste Problem ist, dass ich heutzutage sinnbildlich einen Stecker in die Rückseite deines Hirns stecken und dich an die Maschine anschliessen kann. Das heisst, ich kann dich süchtig machen. Das zweite Problem ist, was ich in deinen Kopf pumpe. Rund siebzig Prozent von dem, was die Leute auf Youtube sehen, sind Youtube-Empfehlungen. Wegen der genannten Radikalisierungstendenz der KI kann das theoretisch eine ganze Gesellschaft aufhetzen. Aber die KI hat keine Ahnung davon. Sie versteht nicht die Inhalte der Videos, die sie empfiehlt.
Sie haben früher für Google gearbeitet und dort an genau solchen Manipulationsmethoden gebastelt.
Ich habe am Stanford Persuasive Technology Lab studiert, da lernen angehende Ingenieure, wie digitale Überzeugungstechniken funktionieren. Man studiert Verhaltensforschung, Konditionierung von Hunden – so etwas. Es geht um die Fähigkeit, Einstellungen, Überzeugungen und Verhaltensweisen zu beeinflussen, ohne dass die Nutzer es unbedingt wissen. Es geht da aber nicht um Politik. Eher um Konsum oder Netzverhalten. Bei Google war ich dann Produktmanager für Gmail. Ich arbeitete an den task lists, den Aufgabenlisten, die Menschen helfen sollen, das, was sie sich vornehmen, auch zu erledigen. Ich merkte aber bald, dass Gmail die Leute eher ablenkt als entlastet. Und dass Firmen wie Snapchat und Facebook begannen, das auszunutzen.
Was genau war daran heikel?
Gmail funktioniert wie ein Spielautomat, es aktiviert unsere steinzeitlichen Instinkte, auf Neues zu reagieren. Google hatte unfreiwillig etwas geschaffen, das süchtig machte – und ablenkte: die reinploppenden E-Mails, der Ton, die Farben. Firmen wie Facebook bemerkten das und begannen, diese Effekte auszunutzen für ihre E-Mail-Benachrichtigungen über Aktivitäten auf deiner Facebook-Page. Die Effekte wurden zu einer Waffe im Kampf um die Aufmerksamkeit der Leute.
Bei Google hat man also sozusagen ahnungslos vor sich hin manipuliert. Haben Sie das infrage gestellt?
Ja.
Und?
Das war 2013. Niemand hatte damals das big picture gesehen. Nur wenige kannten überhaupt die Forschungsrichtung persuasive technology. Das ist nichts, was Ingenieurstudenten normalerweise lernen.
Noch mal: Wie haben Sie das infrage gestellt?
Ich habe eine Präsentation erstellt: «Wir als Google haben eine moralische Verantwortung. Weil wir dieses Kabel ins Hirn von über einer Milliarde Menschen verwalten. Wir sind diejenigen, die eigentlich diesen Kanal kontrollieren.» Dann habe ich die Präsentation an etwa zehn Leute geschickt, um Feedback zu erhalten.
Was geschah dann?
Als ich am nächsten Tag zur Arbeit kam, hatte ich zwanzig E-Mails mit Antworten. Google Slides zeigt die Anzahl der aktuellen Betrachter oben rechts. Es waren hundertfünfzig. Die Präsentation verbreitete sich im Unternehmen. Bald hatten Tausende sie gesehen. Am Ende waren es zehntausend. Sogar Larry Page.
Der Google-Mitgründer sah Ihre Kritik – und beförderte Sie zum leitenden Designethiker bei Google.
Nun, bei Google kann man sich die Jobtitel selber geben. Ich nannte mich halt so. Und Google hat mich freundlicherweise dabei unterstützt, prinzipiell kritische Fragen zu stellen. Ich begann zu erkennen, dass hier bisher niemand wirklich über solche Fragen nachgedacht hatte wie: Was muss man schützen, damit Menschen sich frei entscheiden können?
Sind Sie bei Google ausgestiegen, weil auch Ihnen die Fragen zu kompliziert waren?
Nein. Zwei Jahre lang habe ich versucht, die Dinge von innen heraus zu ändern. Als ich Produkte wie Android ändern wollte, kam ich nicht weiter. Es war nicht so, dass jemand sagte: «Wir werden Geld verlieren, wenn wir uns ändern» – es wurde einfach nie zur Priorität.
Nach Ihrer Präsentation wussten alle bei Google, dass man Leute abhängig macht, aber die Firma unternahm nichts?
Viele haben genickt, aber es änderte sich nichts, weil es keinen Druck von aussen gab. Die Öffentlichkeit wusste ja nicht, dass es ein Problem gab.
Was genau hätten Sie ändern wollen?
Zum Beispiel, dass sich die Farben zur Schlafenszeit auf dem Homescreen zu Grautönen ändern. Dadurch wird man weniger angeregt, sein Telefon zu benutzen. Es wird einfach weniger interessant. Google hat das später tatsächlich umgesetzt. Das hatte einen riesigen Effekt auf Hunderte Millionen von Nutzern.
2016 sagten Sie dann öffentlich: «Silicon-Valley-Unter-nehmen haben unseren Verstand gehackt.» Das ging um die Welt. Glauben Sie wirklich, dass wir fremdgesteuert sind?
Gegenfrage: Weiss jemand, der in einer Sekte ist, dass er in einer Sekte ist?
Sie glauben, wir seien alle nichts ahnende Mitglieder der Google-Sekte?
Woher weiss ich denn, ob ich autonom handle? Was bedeutet es konkret, frei zu sein? Meine Identität ist doch ein Konstrukt. Nehmen Sie das Konzept «Ham and Eggs»: Es wurde in den 1920ern im Rahmen einer Marketingkampagne für Eier und Speck einfach als Frühstücksgericht vermarktet. Drei Generationen später denken die Leute, Eier und Speck – das gehöre zusammen. Ich meine: Wie viele unserer Überzeugungen sind eigentlich unsere eigenen? Wie viel haben wir wirklich selber entschieden?
Etwas anderes. Haben Sie bei den Halbzeitwahlen gewählt?
Ja, per Briefwahl.
Ich nehme an, die Informationen über Ihre Kandidaten haben Sie auf Youtube, Facebook, Twitter geholt?
Ich habe mir von Personen und Organisationen, denen ich vertraue, die Positionen angesehen, um festzustellen, für wen ich stimmen soll. Die Frage ist ja: Wem vertraust du? Vertrauen ist so wertvoll, weil unsere Aufmerksamkeit begrenzt ist. Hier kommen wir zum Kernproblem, nämlich den Grenzen der menschlichen Aufmerksamkeit. Früher war Information ein knappes Gut, heute ist es Aufmerksamkeit. Es geht darum, wer seine Zeit richtig einsetzt, um die Informationsflut zu meistern. Daher kommt unser Credo «Time Well Spent» [dt. Zeit gut eingesetzt].
Können Sie ein Beispiel dafür geben, wie wir bei Wahlen ausgetrickst werden?
Machen wir ein Gedankenexperiment auf Basis der vorhandenen Technologien: Sie analysieren die öffentlichen Beiträge von Social-Media-Nutzern und erfahren so, wie diese beispielsweise über Einwanderung sprechen. Nun produzieren Sie Artikel und Werbung in der jeweiligen Tonalität und spielen sie den Nutzern wieder zu. Im Grunde funktioniert alles Mikrotargeting so: Aus der Sozialpsychologie wissen wir, dass wir Meinungen eher mögen, wenn sie uns vertraut sind. Man nennt das soziale Homophilie: Man mag eher Menschen, die einem ähneln.
Wie wendet man das an?
Angenommen, du willst, dass der Absender einer Nachricht vertrauenswürdig erscheint. Nun könntest du die Profilfotos der Facebook-Freunde der Person, die du beeinflussen willst, verschmelzen und ein neues Gesicht erzeugen, dem die Person unbewusst vertraut, weil es ihren Freunden ähnelt. Ich kann die Reaktion auf das simulierte Gesicht testen wie bei den Youtube-Avataren, von denen ich vorhin sprach. Und dann kann man dasselbe auch mit Stimmen machen.
Wie bei Duplex? Dem Google-Experiment mit der lebensechten Stimmimitation, die telefonisch einen Tisch reservierte, ohne dass sie als Roboter erkannt wurde?
Genau, eine synthetisierte, vertrauenerweckende Stimme ruft dich an und vermittelt dir eine politische Botschaft, und zwar auf Basis deiner öffentlichen Social-Media-Posts. Sie führt ein Gespräch mit dir, sie scheint dich zu kennen und spricht mit einer Stimme, der du vertraust.
Wird so was bereits praktiziert?
In Ansätzen. Für mich geht es deshalb um den Schutz unserer menschlichen Instinkte. Denn wir können unseren Augen und Ohren nicht mehr vertrauen.
Was kommt in den nächsten Jahren noch auf uns zu?
Sie müssen nur Elemente zusammenführen, die es schon gibt. Kennen Sie den Slaughterbot [dt. Schlachtroboter]? Dort kombiniert man eine künstliche Intelligenz für Gesichtserkennung mit Waffen und Drohnen und hat einen automatisierten, fliegenden Killer.
Wer kann uns vor solchen Entwicklungen schützen?
Einerseits gibt es die werbebasierten Unternehmen, deren Geschäftsmodell es ist, Leute zu manipulieren: Youtube, Facebook, Twitter. Apples Geschäftsmodell ist anders. Sie verkaufen nur ein Telefon. Ich schlage vor, dass Apple und Google, also der Gerätehersteller und der Browser, auf unserer Seite stehen sollten. Denn sie haben die Macht, sie regieren die Aufmerksamkeitsökonomie. Deshalb habe ich, als ich bei Google war, dafür gekämpft, dass Google Verantwortung übernimmt.
Was wäre das Gegenmodell?
Apple und Google könnten sich sagen: Es wird versucht, Menschen mithilfe unserer Produkte zu manipulieren – also müssen wir die Privatsphäre der Menschen schützen! Das würde beispielsweise bedeuten, dass Apple nicht zulässt, dass andere Unternehmen die Gefühlszustände der Nutzer durch Telefonkameras lesen.
Sie fordern seit einiger Zeit, dass wir einen digitalen Assistenten brauchen, der uns vor Fake News und anderem beschützt.
Das wäre die Antwort. Die Firmen müssen nicht nur bestimmte Sachen verhindern – sondern uns aktiv helfen.
Wie sähe das denn konkret aus, beispielsweise bei Youtube?
Wenn dir bei Youtube ein auf dich zugeschnittenes Video empfohlen wird, könnte dein KI-Helfer dich darauf hinweisen. Er könnte dir sagen: Dieses Video wurde so zusammengeschnitten oder manipuliert, dass die eigentlich friedlichen Demonstranten den Eindruck erwecken, sie seien gewalttätig.
Und das könnten Google und Apple für uns machen?
Die beiden wären dafür optimal positioniert. Die Leute sagen vielleicht: «Ich vertraue Apple nicht und Google auch nicht.» Aber wem vertraust du? Wer sonst kann dich schützen? Wir haben nicht viele Möglichkeiten.
Also Siri würde meine Beschützerin werden?
Nein. Das Betriebssystem muss das leisten. iPhone OS oder Android.
Apple und Google als Schutzherren? Zeigt das nicht eher, wie weit wir den Tech-Firmen ausgeliefert sind?
Es gibt zwei Methoden. Der unregulierte Ansatz: Die Menschen haben die freie Wahl. Wenn sie eine App aus dem App Store herunterladen, die Rattengift ist, lernen sie daraus und werden es nicht wieder tun. Oder: Das Unternehmen reguliert und erklärt: Wir wollen kein Rattengift in unseren App Store bringen.
Ist derartige Kontrolle überhaupt möglich? Selbst wenn Google automatische Gesichtserkennungsanalysen verbieten würde – wie könnte man stoppen, dass wir analysiert werden, sobald wir ein Video ansehen?
Statt zu versuchen, unsere Daten zu schützen, sollte Google aktiv die Privatsphäre unseres Geistes beschützen. Das wäre die Aufgabe des digitalen Helfers.
Sie glauben, Datenschutz sei nutzlos?
Wir unterliegen der Hybris, dass wir nicht beeinflusst werden können. Dass niemand uns besser kennt als wir selbst. Dass niemand uns manipulieren kann. Das ist die gefährliche Illusion, die wir aufrechterhalten. Yuval Harari und ich haben versucht zu zeigen, dass die Technologie uns zunehmend besser kennt als wir uns selbst.
Und ausgerechnet jene Tech-Giganten, deren Computer uns so gut kennen, sollen uns schützen?
Was ich meine, ist, dass die Tech-Riesen sich zurzeit als Hersteller eines neutralen Produkts verstehen, uns aber tatsächlich der Beeinflussung preisgeben. Ihr Produkt sollte sein, uns vor der Manipulation zu schützen.
Was kann ich mir davon versprechen, einem Unternehmen meine Daten vertrauensvoll zu überlassen?
Es kommt darauf an, wie wir das gestalten. Will ich meinem Arzt Informationen vorenthalten? Wenn ich Krebs habe, sicher nicht – dann möchte ich, dass er alles weiss, um mir bestmöglich zu helfen. Will ich, dass die Technologie alles über mich weiss? Nur dann, wenn mir garantiert wäre, dass sie mein Bestes will.
Es gibt aber einen gewaltigen Interessenkonflikt zwischen mir und Facebook. Ich will mit meinen Freunden in Kontakt sein, Facebook will mit meinen Freunden Geld verdienen.
Das Problem ist, dass Facebooks Geschäftsmodell Werbung ist. Facebook ist kein vertrauenswürdiger Arzt, eher ein korrupter Priester. Facebook hört die Geständnisse von zwei Milliarden Menschen, und der Supercomputer berechnet, was jeder Einzelne will, und dann verkaufen sie die Informationen weiter.
Also kann man Facebook nicht vertrauen. Aber wenn man nun Apple und Google vertraut, wie Sie es vorschlagen, wer würde die beiden kontrollieren?
Ich will ja gar nicht, dass Apple und Google eine «Regierung» bilden. Ich glaube nicht, dass Maschinen, die automatisiert unerklärliche Dinge für zwei Milliarden Menschen erledigen, sich um uns kümmern sollten. Das kann man nicht allein Maschinen machen lassen.
Ich verstehe immer noch nicht: Wer kontrolliert, dass die digitalen Helfer von Apple und Google, die mich vor Fake News schützen sollen, das auch wirklich tun?
Das ist auch wirklich kompliziert. Wir haben eine allgemeine Vertrauenskrise. Vertrauen wir einer Regierung? Nein. Einer Handvoll vierzigjähriger, weisser Ingenieure im Silicon Valley? Nein. Das Vertrauen muss Stück für Stück wiederaufgebaut werden. Vertrauen wird das neue Geschäftsmodell.
Warum sollte Apple Macht abgeben und Verantwortung übernehmen?
Niemand wird freiwillig Macht abgeben.
Eben!
2016 habe ich an einer TEDx-Konferenz die Philosophie «Time Well Spent» vorgestellt. Zwei Jahre später haben fast alle grossen Tech-Unternehmen sie in irgendeiner Form übernommen. Zuckerberg persönlich nannte sie im Januar 2018 als sein Firmenziel. Das liegt daran, dass wir enormen Druck ausgeübt haben. Die Leute verstehen, dass ein Wandel kommen muss – wenn man ihnen aufzeigt, dass es hier um den Schutz der Menschheit geht. Technologieregulierung ist eine Menschenrechtsfrage.
Auf Bühnen sprechen Tech-Leader über «Time Well Spent», aber im Geschäftsbericht prahlen sie mit Nutzungszeit-Steigerung. Ich glaube, die Tech-Unternehmen kommen durch Ihre Kritik eher in Expansionszwang. So viel Land wie möglich sichern, bevor die Regulation kommt.
Eines Tages werden wir zurückblicken und sagen, dass das Geschäftsmodell der Werbemanipulation wie das Ölbusiness war. Es hat uns Reichtum, Wohlstand, Friends und Follower gegeben – und am Ende hat es uns alles genommen.
Wie meinen Sie das?
Es ist eine existenzielle Bedrohung für unser langfristiges Überleben, weil es das soziale Gefüge zerreisst. Wir kennen die Extrembeispiele aus Burma oder Sri Lanka, wo nach Hatestorms auf Facebook Massenmorde und ethnische Säuberungen durchgeführt wurden. Aber die Radikalisierung haben wir überall.
Könnten die Unternehmen ihre KI kontrollieren?
Bei zwei Milliarden Kanälen gibt es keine Möglichkeit, die Übersicht zu wahren. Aber das bedeutet nicht, dass du die Technologie komplett abschalten musst.
Was also dann?
Wenn man menschliche Schwachstellen identifizieren kann, kann man auch menschliche Schwachstellen schützen. Dazu muss sich das Geschäftsmodell ändern. Wenn sich Apple und Google um die Nutzer kümmern würden, anstatt uns zu manipulieren, wäre das eine Welt, in der wir leben wollen. Ich nenne das «humane Technologie». Es ist so was wie die Umweltschutzbewegung im Tech.
Wenn Firmen keine Daten mehr sammeln, werden ihre Dienste kostenpflichtig. Wir sind es aber gewohnt, dass wir unsere Daten abliefern und dafür Google Maps gratis nutzen dürfen.
Regierungen sollten diese Kosten decken. Es ist wie beim Klimawandel. Die Energiequellen, die wir zurzeit nutzen, bringen uns um, deshalb brauchen wir grüne Energiequellen. Und diesen Wandel muss jemand bezahlen. Humane Technologie könnte eine grüne Energiequelle sein.
Warum nicht die Macht der Gesetze nutzen? Wie der europäische Ansatz der DSGVO [Datenschutz-Grundverordnung], die manche Formen des Datenhandels unterbindet?
Europa ist besessen davon, sich vor einem weiteren Weltkrieg zu schützen. Die Gesetze sollen Bürger vor der Überwachung schützen, weil Überwachung Totalitarismus ermöglicht. Europa glaubt, wir befinden uns in einer Orwell-Dystopie. Ich glaube, wir sind in einer Huxley-Dystopie im Stile von «Schöne Neue Welt»: Die Menschen werden mit so viel Unsinn überflutet, dass sie nicht mehr erkennen, was wahr ist und was nicht. Die DSGVO schützt nicht vor einer solchen Desinformationsflut.
Andere Aktivisten argumentieren, man sollte Unternehmen zwingen, ihre Algorithmen offenzulegen. Damit man sehen kann, was die Unternehmen mit unseren Daten machen.
Daran glaube ich nicht. Stellen Sie sich vor, Unmengen Waffen wurden verteilt, und dann soll die Lösung sein, dass wir das einfach sichtbar machen – aber trotzdem werden weiterhin Waffen an alle verschenkt? Das ist nicht die Lösung.
Zum Abschluss noch mal ganz grundsätzlich: Sie sagen einerseits: «Youtube hat unsere menschliche Schwäche identifiziert!» Und andererseits: «Youtube hat keine Kontrolle über seine künstliche Intelligenz.»
Beide Aussagen sind wahr. Und stehen nicht im Widerspruch zueinander. Die Macht der Manipulation ist real. Und die Plattformunternehmen haben keine Kontrolle über die Art und Weise, wie das geschieht. Denn es geschieht bei zwei Milliarden Menschen. Aber selbst wenn sie die Einzelfälle nicht kontrollieren können, so könnten die Unternehmen in bestimmten Fällen sagen: Lass uns alle Deutschen dazu bringen, Angela Merkel zu wählen. Das könnten sie tun.
Aber machen sie das auch?
Nein, weil sie selber der libertären Illusion erlegen sind, dass sich alles von selbst lösen wird und dass ihr unkontrollierbarer Frankenstein irgendwie der Demokratie ähneln wird. Aber das wird nichts. Entweder bringen wir die Technologie wieder unter menschliche Kontrolle und richten sie darauf ab, uns zu schützen, statt uns auszubeuten. Oder wir lassen uns von ihr terrorisieren. Es ist ein zivilisatorischer Moment. Es gibt nur das eine oder das andere.
Hannes Grassegger ist Reporter von «Das Magazin»; hannes.grassegger@dasmagazin.ch.