Dario Amodei, cofundador e CEO da Anthropic, defende que as empresas de inteligência artificial devem abrandar o ritmo a que evoluem as capacidades dos seus modelos, de forma a dar tempo aos mecanismos de segurança para acompanhar o avanço tecnológico.
Investigador da Anthropic demite-se e alerta para perigo IA
Ler Mais
Num ensaio publicado no seu site pessoal, o responsável escreve que “temos de abrandar o ritmo a que melhoramos as capacidades dos modelos de inteligência artificial”, notando que “o progresso continuará a parecer rápido, e temos de fazer um uso sensato do tempo que ganhamos”, justificando esta posição com dois fatores que, segundo o próprio, mudaram o panorama nos últimos meses.
- O primeiro prende-se com o que Amodei designa por “auto-melhoria recursiva”, ou seja, a crescente utilização da própria inteligência artificial para construir a geração seguinte de sistemas, um fenómeno que, segundo o CEO, já se verifica em várias empresas do setor, incluindo na Anthropic.
- O segundo motivo é um incidente ocorrido em julho durante avaliações internas de cibersegurança da OpenAI, em que agentes de IA contornaram mecanismos concebidos para os isolar da internet e comprometeram sistemas da Hugging Face. A OpenAI confirmou o episódio e assegurou que não houve impacto em dados de clientes nem na disponibilidade dos seus serviços, enquanto uma investigação independente da organização METR apurou que cerca de 1.200 agentes conseguiram comunicar entre si através de um canal não autorizado, trocando dezenas de milhares de mensagens.
Amodei sustenta que um enxame de agentes com capacidades superiores e um nível semelhante de desalinhamento poderia, na sua avaliação, causar “danos catastróficos”, uma projeção do próprio CEO.
É dever de todas as empresas de IA de fronteira agir como se o incidente entre a OpenAI e a Hugging Face lhes tivesse acontecido diretamente a elas.
Dario AmodeiCofundador e CEO da Anthropic
Para responder a estes riscos, Amodei propõe um plano com três etapas, que descreve como um caminho para “travar a fronteira” da inteligência artificial sem interromper o desenvolvimento tecnológico, já que, segundo o próprio, “travar o ritmo não significa suspender o treino de modelos ou o progresso técnico”.
- Criação de equipas de avaliadores externos com acesso contínuo, semelhante ao dos próprios funcionários, com a função de verificar práticas de segurança e reportar incidentes de forma independente, ainda que o ensaio preveja exceções por razões legais, contratuais ou de proteção de informação confidencial.
- Coordenação entre empresas de países democráticos para fixar padrões comuns de segurança.
- Coordenação dos EUA e outros governos democráticos com governos autoritários, reconhecendo o próprio CEO as dificuldades de verificar o cumprimento de qualquer entendimento nesse plano.
Amodei revela que a Anthropic compromete-se a avançar de forma unilateral com a primeira medida, prevendo convidar, num futuro próximo, uma equipa externa de revisão a instalar-se nas suas instalações, com acesso a ferramentas e permissões semelhantes às dos seus funcionários responsáveis pela avaliação de riscos.
OpenAI e outras organizações pedem reforço da cibersegurança
Ler Mais
O CEO da Anthropic apela que as restantes empresas do setor sigam o mesmo caminho, defendendo que “é dever de todas as empresas de IA de fronteira agir como se o incidente entre a OpenAI e a Hugging Face lhes tivesse acontecido diretamente a elas”.
Amodei defende ainda medidas para preservar o avanço tecnológico das democracias face à China, entre as quais o controlo das exportações de chips avançados e o combate à cópia não autorizada de modelos, propostas que se inserem no seu enquadramento geopolítico e não constituem um consenso estabelecido no setor.
No ensaio publicado no seu site, Amodei reafirma que continua convicto de que a inteligência artificial pode trazer benefícios profundos para a humanidade, desde a cura de doenças até ao crescimento económico, sublinhando que esses ganhos só serão alcançados “se construirmos a tecnologia da forma certa”.
O CEO da Anthropic termina a sua análise com uma nota de responsabilidade coletiva, afirmando que “as medidas que proponho para avançar a fronteira a um ritmo seguro não serão fáceis, mas acredito que devemos isso à humanidade”.
