Meta hat eine Einigung erzielt, die das Unternehmen etwa 17 Milliarden Dollar kosten kann und einen relevanten Teil der Rechtsstreitigkeiten über die Auswirkungen von Facebook und Instagram auf Minderjährige beendet. Die Einigung verpflichtet zu Änderungen an den Plattformen, einschließlich Nutzungslimits, nächtlicher Sperrung, Benachrichtigungsbeschränkungen und der Option für einen nicht personalisierten Feed. Der Autor analysiert diesen Prozess als Beispiel für einen der Effekte von Algorithmen in sozialen Netzwerken: die Erfassung der Aufmerksamkeit. Die Algorithmen lernen aus dem Verhalten der Nutzer, aber Aufmerksamkeit zu kennen bedeutet nicht, den Willen zu kennen, da Verhaltensweisen als Präferenzen gelesen werden können und mehr vom Gleichen angeboten wird.
Das Problem erstreckt sich weit über soziale Netzwerke hinaus. Algorithmen unterstützen bereits klinische Diagnosen, bewerten Kreditrisiken, wählen Kandidaten für Arbeitsstellen aus, passen Preise an, erkennen Betrug und legen Prioritäten in Sicherheitssystemen fest. Es ist bei der Übersetzung legitimer Ziele in Daten, Kriterien und Metriken, dass rechtliche Probleme auftreten können. Ein Rekrutierungsalgorithmus kann Diskriminierungen der Vergangenheit reproduzieren, ein Kreditmodell kann bestimmte Gruppen benachteiligen, und klinische Systeme können für Bevölkerungsgruppen, die in den Daten unterrepräsentiert sind, weniger zuverlässig sein.
Der Autor vertritt, dass die Absicht das Problem nicht löst: Ein Algorithmus kann genau das Ziel, für das er entwickelt wurde, erfüllen und dennoch rechtlich problematische Auswirkungen produzieren, die niemand beabsichtigt hat. Mit dem Eintritt von Algorithmen in den laufenden Betrieb von Unternehmen aller Sektoren steigen die Möglichkeiten von Fehlern, Diskriminierungen oder anderen unvorhergesehenen Auswirkungen auf Rechte, Vermögen, Gesundheit, Chancen oder Sicherheit. Die Nutzung von Algorithmen ist auch ein Risikomanagementproblem, das erforder
