Mechanik

Doomscrolling als Social Engineering im Industriemaßstab

Ein Social Engineer hat ein Skript für alle. Der Feed hat für jeden ein eigenes, testet es fünf Milliarden Mal am Tag und lernt aus jedem Durchlauf. Die Hebel sind dieselben.

Von Norbert Hofmann · Aktualisiert am · 7 Min. Lesezeit

Kurz gesagt

  1. Social Engineering nutzt Dringlichkeit, Autorität, Verlustangst, Neugier und sozialen Beweis, um Menschen zu Handlungen gegen ihr Interesse zu bringen. Der Feed bedient jeden dieser Hebel.
  2. Der Unterschied ist die Skalierung: 3,48 Milliarden Menschen täglich, ein individuelles Skript pro Person und kontrollierte Experimente statt Raten.
  3. Die Erbauer sagen es selbst: Foggs Persuasive Technology Lab (1998), Eyals „Hooked“ (2014), Parkers „Schwachstelle der menschlichen Psychologie“ (2017), Palihapitiyas „dopamingetriebene Rückkopplungsschleifen“ (2017).
  4. Die Verteidigung ist dieselbe wie gegen jedes Social Engineering: den Hebel erkennen, bei Dringlichkeit verlangsamen, fragen, wer verdient.

Was Social Engineering ist

Social Engineering ist der Fachbegriff für die Manipulation von Menschen, damit sie etwas tun, das nicht in ihrem Interesse liegt - nicht durch Zwang, sondern durch das gezielte Ausnutzen von Verhaltensmustern. Der klassische Fall ist die Phishing-Mail: „Ihr Konto wird in 24 Stunden gesperrt, bestätigen Sie jetzt Ihre Daten.“ Sie funktioniert nicht, weil der Empfänger dumm wäre, sondern weil sie Hebel bedient, die bei fast jedem greifen: Dringlichkeit, die das Nachdenken verkürzt; Autorität, die den Zweifel dämpft; Angst vor Verlust; Neugier; der Wunsch, dazuzugehören. Der Angreifer kennt diese Hebel, das Ziel kennt sie meist nicht. Die Schwesterseite www.social-engineering.org beschreibt die Methoden im Einzelnen.

Die These dieses Textes ist, dass Doomscrolling dieselben Hebel bedient, mit einem Unterschied: nicht ein Angreifer gegen ein Ziel, sondern ein System gegen Milliarden. Social Engineering im Industriemaßstab.

Dieselben Hebel, andere Skalierung

Man kann die Hebel einzeln nachzeichnen. Dringlichkeit: die Eilmeldung, der rote Punkt, „Jetzt live“. Sozialer Beweis: „Trending“, „1,2 Millionen Aufrufe“, „12 Freunde haben reagiert“. Verlustangst: Stories, die nach 24 Stunden verschwinden, Streaks, die bei einem Tag Pause enden - die technische Form von FOMO. Neugier: die Überschrift, die eine Lücke lässt, die nur der Klick schließt. Angst: der Feed, der Negatives bevorzugt, weil Negatives hält. Jeder dieser Hebel ist aus dem Handbuch des Social Engineers. Keiner ist neu.

Neu ist die Skalierung, und die hat drei Dimensionen. Erstens die Zahl: Eine Phishing-Kampagne erreicht Tausende, die Apps eines einzigen Konzerns erreichen 3,48 Milliarden Menschen täglich. Zweitens die Anpassung: Der Social Engineer hat ein Skript für alle, der Feed hat für jeden ein eigenes, trainiert aus dem, wo genau diese Person langsamer wird. Drittens das Experiment: Der Social Engineer rät, welcher Hebel wirkt. Der Feed testet es. Upworthy führte 12.448 kontrollierte Überschriftentests durch. Facebook veränderte 2012 für 689.003 Menschen die Stimmung des Feeds, um zu messen, was passiert. Twitters Ranking läuft fünf Milliarden Mal am Tag, und jeder Durchlauf lernt aus dem vorherigen. Kein menschlicher Manipulator hat je so viele Versuche gehabt.

Die Leute, die es gebaut haben, sagen es selbst

Dass hier Überzeugungstechnik am Werk ist, ist keine Deutung von außen. Es war von Anfang an das Programm. 1998 gründete der Psychologe B. J. Fogg an der Stanford University das Persuasive Technology Lab und prägte den Begriff Captology für die Wissenschaft von Computern als Überzeugungswerkzeugen; sein Lehrbuch „Persuasive Technology“ erschien 2003. Im Herbst 2007 unterrichtete Fogg zusammen mit dem Investor Dave McClure einen Kurs, in dem Studierende in zehn Wochen Anwendungen für die gerade geöffnete Facebook-Plattform bauten; einzelne davon erreichten über eine Million Installationen. Zu Foggs Studenten gehörten Mike Krieger, der später Instagram mitgründete, und Tristan Harris, der später zum bekanntesten Kritiker der Branche wurde.

2014 schrieb Nir Eyal das Handbuch dazu: „Hooked: How to Build Habit-Forming Products“ beschreibt in vier Schritten, wie man Produkte baut, die Menschen ohne bewusste Entscheidung immer wieder öffnen - Auslöser, Handlung, variable Belohnung, Investition. Das Buch war kein Enthüllungstext. Es war eine Anleitung, und es wurde als solche gelesen.

Die deutlichsten Aussagen kamen 2017 von zwei Männern, die dabei waren. Sean Parker, Facebooks erster Präsident, sagte im November bei einer Veranstaltung von Axios, die Leitfrage beim Bau der Plattform sei gewesen: Wie verbrauchen wir so viel wie möglich von deiner Zeit und bewussten Aufmerksamkeit? Die Antwort sei gewesen, den Nutzern ab und zu „einen kleinen Dopamin-Kick“ zu geben - ein Like, ein Kommentar -, eine „soziale Bestätigungsschleife“. Und dann: „Man nutzt eine Schwachstelle der menschlichen Psychologie aus. Die Erfinder haben das verstanden, bewusst, und wir haben es trotzdem getan.“ Wenige Wochen später sagte Chamath Palihapitiya, bis 2011 Facebooks Vizepräsident für Nutzerwachstum, an der Stanford Graduate School of Business: „Die kurzfristigen, dopamingetriebenen Rückkopplungsschleifen, die wir geschaffen haben, zerstören, wie Gesellschaft funktioniert.“

Eine Schwachstelle der menschlichen Psychologie, bewusst ausgenutzt, in Schleifen, die auf Wiederholung gebaut sind. Das ist die Definition von Social Engineering, formuliert von denen, die es gebaut haben.

Wo der Vergleich hinkt - und wo nicht

Der Einwand liegt nahe: Ein Phisher will dir schaden, ein Feed will dich nur halten. Das stimmt, und es ist ein echter Unterschied. Niemand bei einer Plattform hat sich vorgenommen, dass du um zwei Uhr nachts wach liegst. Der Schaden ist eine Nebenwirkung des Ziels, nicht das Ziel.

Aber der Einwand trägt weniger, als er scheint. Erstens will auch der Phisher dir nicht schaden; er will dein Geld, der Schaden ist ihm gleichgültig. Gleichgültigkeit gegenüber der Nebenwirkung ist kein Unterschied zwischen den beiden, sondern eine Gemeinsamkeit. Zweitens ist die Nebenwirkung bekannt. Facebooks eigene Analysten stellten 2019 fest, dass das System das Toxische nach oben sortierte, und es dauerte bis 2020, das zu ändern. Parkers Satz - „verstanden, bewusst, und trotzdem getan“ - beschreibt genau die Konstellation, in der man bei einem Menschen nicht mehr von Nebenwirkung spräche. Dass niemand böse ist, macht die Mechanik nicht harmloser. Es macht sie nur schwerer anzuklagen.

Was sich daraus ableiten lässt

Die Verteidigung gegen Social Engineering ist seit Jahrzehnten dieselbe, und sie funktioniert auch hier. Erstens: den Hebel erkennen. Wer weiß, dass Dringlichkeit ein Werkzeug ist, reagiert auf die Eilmeldung anders als auf eine Nachricht. Zweitens: verlangsamen, wenn Dringlichkeit erzeugt wird. Was jetzt sofort gelesen werden muss, kann fast immer auch in einer Stunde gelesen werden - und die Stunde entscheidet, ob es eine Nachricht bleibt oder eine Sitzung wird. Drittens: die Quelle prüfen und wissen, wer verdient. Ein Mensch, der das Skript kennt, ist schwer zu manipulieren - nicht immun, aber schwer. Diese Seite ist der Versuch, das Skript aufzuschreiben. Alles, was hier über Feeds, Begriffe und Mechanik steht, ist das Handbuch der Gegenseite, gelesen von der anderen Seite des Bildschirms.

Häufige Fragen

Ist das nicht eine Verschwörungstheorie?

Nein, weil nichts davon verborgen ist. Die Gewichte des Twitter-Rankings sind veröffentlicht, Metas Geschäftsberichte sind öffentlich, die internen Facebook-Dokumente von 2021 sind dokumentiert, und die Zitate von Parker und Palihapitiya stammen aus öffentlichen Auftritten. Eine Verschwörung braucht Geheimhaltung und Absicht. Hier gibt es weder das eine noch das andere - nur Anreize, die offen liegen und trotzdem wirken.

Will mir der Feed wirklich schaden?

Nein. Er will dich halten; der Schaden ist eine Nebenwirkung. Aber das gilt für den Phisher genauso - er will dein Geld, nicht dein Unglück. Die Frage ist nicht, ob jemand Böses will, sondern ob ein System eine bekannte Schwachstelle ausnutzt und die Nebenwirkung in Kauf nimmt. Beides ist belegt, unter anderem durch die Aussagen derer, die es gebaut haben.

Quellen

  1. Axios (2017): Sean Parker: Facebook was designed to exploit human „vulnerability“. 9. November 2017.
  2. Fast Company (2017): Former Facebook exec: Social media is ripping apart society. 11. Dezember 2017.
  3. Wikipedia (englisch): B. J. Fogg - Persuasive Technology Lab, Captology, Facebook-Kurs 2007.
  4. Eyal, N. (2014): Hooked: How to Build Habit-Forming Products. Portfolio/Penguin.
  5. Fogg, B. J. (2003): Persuasive Technology: Using Computers to Change What We Think and Do. Morgan Kaufmann.

Hier endet die Seite.

Kein Weiterscrollen, keine Empfehlungsschleife.

Falls du doch weiterlesen willst - hier schließen drei Seiten an: