Meta достигла соглашения, которое может обойтись ей примерно в 17 миллиардов долларов, положив конец значительной части судебных разбирательств о воздействии Facebook и Instagram на несовершеннолетних. Соглашение обязывает внести изменения в платформы, включая ограничения использования, ночную блокировку, ограничения на уведомления и возможность переключения на неперсонализированную ленту. Автор анализирует этот процесс как пример одного из эффектов алгоритмов в социальных сетях: захват внимания. Алгоритмы обучаются на поведении пользователей, но знать внимание — не значит знать волю, и они могут интерпретировать поведение как предпочтения и предлагать больше того же.
Проблема распространяется далеко за пределы социальных сетей. Алгоритмы уже помогают в клинической диагностике, оценивают кредитные риски, отбирают кандидатов на работу, корректируют цены, обнаруживают мошенничество и устанавливают приоритеты в системах безопасности. Именно в переводе законных целей в данные, критерии и метрики могут возникать юридические проблемы. Алгоритм подбора персонала может воспроизводить дискриминацию прошлого, кредитная модель может неблагоприятно относиться к определённым группам, а клинические системы могут быть менее надёжными для популяций, недостаточно представленных в данных.
Автор утверждает, что намерение не решает проблему: алгоритм может точно выполнять задачу, для которой был создан, и при этом производить юридически проблематичные эффекты, которых никто не планировал. По мере того как алгоритмы входят в повседневную деятельность компаний всех секторов, возрастают возможности ошибок, дискриминации или других непредвиденных воздействий на права, имущество, здоровье, возможности или безопасность. Использование алгоритмов — это также проблема управления рисками, требующая от компаний объяснять прогнозируемые риски, используемые данные и критерии, проведённые тесты и механизмы смягчения последствий.
AI Act призван предвосхитить некоторые из этих проблем, но сравнение с Соединёнными Штатами вводит в заблуждение. В США регулирование также осуществляется через регуляторов, суды, гражданскую ответственность и соглашения, которые требуют конкретных изменений в продуктах. Автор утверждает, что следующая большая волна массовых судебных разбирательств будет связана с алгоритмами, и что в Португалии, где народный иск способствует коллективному судопроизводству, ошибка в проектировании может быстро превратиться в судебный процесс против компании от имени тысяч людей. Он заключает, что многие решения, которые завтра придётся объяснять регулятору или суду, сегодня принимаются теми, кто разрабатывает алгоритмы.
