A Meta chegou a um acordo que pode custar-lhe cerca de 17 bilhões de dólares, pondo fim a uma parte relevante da litigância sobre os efeitos do Facebook e do Instagram em menores. O acordo obriga a alterações nas plataformas, incluindo limites de utilização, bloqueio noturno, restrições às notificações e a opção por um feed não personalizado. O autor analisa este processo como exemplo de um dos efeitos dos algoritmos nas redes sociais: a captura da atenção. Os algoritmos aprendem com o comportamento dos utilizadores, mas conhecer a atenção não é conhecer a vontade, podendo ler comportamentos como preferências e dar mais do mesmo.
O problema estende-se muito além das redes sociais. Algoritmos já apoiam diagnósticos clínicos, avaliam risco de crédito, selecionam candidatos a emprego, ajustam preços, detectam fraude e estabelecem prioridades em sistemas de segurança. É na tradução de objetivos legítimos em dados, critérios e métricas que podem surgir problemas jurídicos. Um algoritmo de recrutamento pode reproduzir discriminações do passado, um modelo de crédito pode desfavorecer determinados grupos, e sistemas clínicos podem ser menos fiáveis para populações pouco representadas nos dados.
O autor defende que a intenção não resolve o problema: um algoritmo pode cumprir exatamente o objetivo para que foi criado e produzir efeitos juridicamente problemáticos que ninguém pretendeu. À medida que os algoritmos entram no funcionamento corrente de empresas de todos os setores, aumentam as possibilidades de erros, discriminações ou outros efeitos imprevistos sobre direitos, patrimônio, saúde, oportunidades ou segurança. A utilização de algoritmos é também um problema de gestão de risco, exigindo que as empresas expliquem riscos antecipados, dados e critérios utilizados, testes realizados e mecanismos de mitigação.
O AI Act procura antecipar alguns destes problemas, mas a comparação com os Estados Unidos é enganosa. Nos EUA, a regulação faz-se também através de reguladores, tribunais, responsabilidade civil e acordos que impõem alterações concretas aos produtos. O autor defende que a próxima grande onda de litigância em massa será em torno dos algoritmos, e que em Portugal, onde a ação popular favorece a litigância coletiva, um erro de desenho pode rapidamente transformar-se num processo contra uma empresa em nome de milhares de pessoas. Conclui que muitas das decisões que amanhã terão de explicar a um regulador ou tribunal estão hoje a ser tomadas por quem desenha os algoritmos.
