Meta est parvenue à un accord qui pourrait lui coûter environ 17 milliards de dollars, mettant fin à une partie significative du litige concernant les effets de Facebook et Instagram sur les mineurs. L'accord impose des modifications des plateformes, incluant des limites d'utilisation, un blocage nocturne, des restrictions aux notifications et l'option d'un fil d'actualité non personnalisé. L'auteur analyse ce processus comme exemple d'un des effets des algorithmes sur les réseaux sociaux : la captation de l'attention. Les algorithmes apprennent du comportement des utilisateurs, mais connaître l'attention n'est pas connaître la volonté, pouvant lire des comportements comme des préférences et donner davantage du même.
Le problème s'étend bien au-delà des réseaux sociaux. Les algorithmes assistent déjà les diagnostics cliniques, évaluent le risque de crédit, sélectionnent les candidats à un emploi, ajustent les prix, détectent la fraude et établissent les priorités dans les systèmes de sécurité. C'est dans la traduction d'objectifs légitimes en données, critères et métriques que des problèmes juridiques peuvent surgir. Un algorithme de recrutement peut reproduire des discriminations du passé, un modèle de crédit peut désavantager certains groupes, et les systèmes cliniques peuvent être moins fiables pour les populations peu représentées dans les données.
L'auteur soutient que l'intention ne résout pas le problème : un algorithme peut remplir exactement l'objectif pour lequel il a été créé et produire des effets juridiquement problématiques que personne n'avait prévus. À mesure que les algorithmes s'intègrent au fonctionnement courant d'entreprises de tous les secteurs, les possibilités d'erreurs, de discriminations ou d'autres effets imprévus sur les droits, le patrimoine, la santé, les opportunités ou la sécurité augmentent. L'utilisation des algorithmes est également un problème de gestion des risques, exigeant que les entreprises expliquent les risques anticipés, les données et critères utilisés, les tests réalisés et les mécanismes d'atténuation.
L'AI Act cherche à anticiper certains de ces problèmes, mais la comparaison avec les États-Unis est trompeuse. Aux États-Unis, la régulation se fait aussi par le biais de régulateurs, de tribunaux, de la responsabilité civile et d'accords qui imposent des modifications concrètes aux produits. L'auteur défend que la prochaine grande vague de litiges de masse portera sur les algorithmes, et qu'au Portugal, où l'action populaire favorise le litige collectif, une erreur de conception peut rapidement se transformer en procès contre une entreprise au nom de milliers de personnes. Il conclut que nombreuses sont les décisions qui demain devront être expliquées à un régulateur ou à un tribunal et qui sont aujourd'hui prises par ceux qui conçoivent les algorithmes.
