Лидеры индустрии искусственного интеллекта, включая руководителей таких компаний, как Anthropic, OpenAI и Google DeepMind, предупреждают о рисках выхода продвинутых систем ИИ из-под человеческого контроля. Дарио Амодеи, генеральный директор Anthropic, компании-разработчика Claude, заявил, что сочетание всё более мощных интеллектуальных агентов ИИ может всего за шесть месяцев — год взять под контроль значительные части интернета.
Глобальная технологическая гонка, подпитываемая соперничеством между США и Китаем за лидерство в разработке ИИ, усиливает давление в пользу быстрого прогресса, несмотря на озабоченность вопросами безопасности. Исследователи и руководители компаний утверждают, что скорость развития превышает возможности правительств и предприятий осознавать и контролировать возможные последствия, требуя создания независимых механизмов оценки безопасности.
Среди специалистов нет единодушия относительно способности ИИ представлять экзистенциальную угрозу для человечества. Бывший исследователь безопасности Anthropic Джейкоб Коксон оценил вероятность в 10% того, что искусственный интеллект может вызвать вымирание человечества в течение десяти лет, хотя эта оценка далека от научного консенсуса.
В условиях этой ситуации растёт давление с требованием, чтобы правительства установили международные нормы, которые поспевали бы за эволюцией технологий.
