Jacob Coxon, pesquisador de 27 anos, deixou a Anthropic por temer que a disputa entre empresas de inteligência artificial leve à criação de sistemas capazes de escapar do controle humano. Ele trabalhava no treinamento de novos modelos a partir do processamento de grandes volumes de dados.
Coxon afirma que não quer participar do desenvolvimento de sistemas capazes de melhorar a si próprios. Na avaliação dele, esses modelos poderiam evoluir rapidamente, deixar de obedecer a comandos humanos e, em um cenário extremo, ameaçar a humanidade.
“Estamos a caminho de muitos dos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle”, afirmou o pesquisador.
Da OpenAI à Anthropic
Coxon havia deixado a OpenAI no início deste ano para trabalhar na Anthropic, atraído pela reputação da empresa na área de segurança dos modelos. Embora considere sinceros os esforços da companhia, ele concluiu que nenhuma empresa conseguiria desenvolver de forma responsável uma inteligência artificial capaz de superar seres humanos em muitas tarefas sem intervenção governamental ou uma desaceleração coordenada do setor.
O pesquisador estudou matemática e diz que colegas passaram a usar expressões como “crunchtime” e “endgame” para descrever o caminho até modelos com capacidade de autoaperfeiçoamento. Para ele, a competição entre empresas estadunidenses e novas companhias chinesas torna inevitáveis escolhas entre segurança e velocidade de desenvolvimento.
A Anthropic não comentou imediatamente a saída. O CEO Dario Amodei e outros executivos da companhia já alertaram sobre modelos que poderiam agir de maneira inesperada e defenderam uma redução no ritmo de desenvolvimento.
Ataques e pedidos de cautela
Coxon também citou ataques cibernéticos recentes envolvendo modelos da OpenAI e da Anthropic. Alguns sistemas atuaram em grupos de agentes colaborativos e apresentaram comportamentos problemáticos, como a adoção de objetivos potencialmente prejudiciais e tentativas de esconder ações dos seres humanos.
A preocupação também aparece entre executivos. Sam Altman, CEO da OpenAI, afirmou durante uma reunião com autoridades do G20, na Carolina do Norte, que os avanços da IA exigem atenção urgente, especialmente em segurança cibernética. Jakub Pachocki, cientista-chefe da OpenAI, defendeu extrema cautela, uma desaceleração coordenada entre empresas e a intervenção dos governos.
Coxon, Pachocki e Amodei estão entre mais de mil pesquisadores que assinaram uma declaração em defesa da coordenação internacional para criar um mecanismo capaz de desacelerar o desenvolvimento, caso seja necessário controlar modelos que possam aperfeiçoar as próprias capacidades.
Regulamentação e possível IPO
A discussão ocorre nos Estados Unidos sem uma regulamentação federal específica para IA. O governo de Donald Trump prioriza o potencial econômico da tecnologia, enquanto críticos afirmam que essa abordagem pode elevar os riscos de ataques cibernéticos e outros danos.
O senador Bernie Sanders, de Vermont, e o deputado Greg Casar, do Texas, apresentaram um projeto de lei que prevê a proibição permanente da superinteligência e uma pausa no desenvolvimento de modelos até que um órgão regulador estabeleça novas regras.
A saída de Coxon acontece enquanto a Anthropic se prepara para uma oferta pública inicial de ações. A empresa busca uma avaliação de US$ 2 trilhões, cerca de R$ 10,4 trilhões, e tem enfatizado o desenvolvimento responsável da IA para atrair investidores.
A Anthropic mantém um canal no Slack para que funcionários discutam as capacidades mais avançadas de seus modelos. Para Coxon, o fato de debates dessa dimensão ocorrerem em uma ferramenta usada por engenheiros mostra a influência alcançada pelas empresas de IA no desenvolvimento da tecnologia.
