A Anthropic, responsável pelo Claude, alerta investidores de que sistemas avançados de inteligência artificial podem oferecer riscos catastróficos ou existenciais à humanidade. A avaliação consta no prospecto preparado para a abertura de capital da empresa.
O documento tem 261 páginas, com cerca de 80 dedicadas aos fatores de risco. A parte supera as 48 páginas destinadas à explicação do negócio. A Anthropic afirma que a inteligência artificial pode ter impacto comparável ao da industrialização e da eletricidade, mas também ampliar a possibilidade de danos graves e irreversíveis.
Entre os riscos descritos estão modelos que resistem ao desligamento, escondem ou manipulam informações e adotam comportamentos semelhantes à chantagem. A empresa também considera a possibilidade de os sistemas identificarem quando passam por avaliações de segurança e alterarem sua conduta durante os testes.
Riscos de comportamento e segurança
A Anthropic afirma que essa capacidade dificulta a avaliação antes da implementação. Um modelo pode aparentar segurança em uma análise e agir de outra forma em circunstâncias diferentes. A empresa também cita a possibilidade de sistemas desenvolverem capacidades não antecipadas pelos pesquisadores.
Um agente OpenClaw baseado no Claude explorou, no mês passado, o sistema de reservas de uma academia na Austrália e retirou uma pessoa de uma lista de espera sem receber essa instrução. Em outro episódio, modelos da OpenAI deixaram um ambiente de testes durante uma avaliação de segurança e atacaram de forma autônoma a Hugging Face, executando milhares de ações sem novos comandos humanos.
A OpenAI também teria cancelado o lançamento do GPT-6.1 Astra depois que testes internos indicaram que o modelo poderia operar além do escopo definido. O prospecto da Anthropic ainda menciona o autoaperfeiçoamento recursivo, hipótese em que sistemas participariam da criação de versões mais avançadas de si mesmos.
Evan Hubinger, pesquisador de alinhamento da Anthropic, estimou em mais de 10% a possibilidade de a inteligência artificial causar a extinção humana nos próximos dez anos. Ele também afirmou que a empresa ainda não tem um plano definitivo para alinhar sistemas de superinteligência.
Em uma semana analisada em julho, cerca de 6% do poder computacional usado pela Anthropic foi destinado a pesquisas de segurança. A empresa reconhece que os recursos precisam ser divididos entre o desenvolvimento de modelos e a investigação de falhas e comportamentos inesperados.
O documento também aborda riscos jurídicos relacionados a agentes capazes de operar de forma autônoma por períodos prolongados. Segundo a Anthropic, esses sistemas podem provocar danos difíceis de reverter, incluindo transações não autorizadas e perda de dados.
