A OpenAI propõe que institutos nacionais de segurança em inteligência artificial ajudem a criar padrões técnicos comuns para avaliar sistemas de IA de fronteira e acompanhar riscos de pesquisas automatizadas. A empresa também defende canais seguros para que governos e operadores de infraestrutura crítica compartilhem alertas sobre vulnerabilidades, ameaças e incidentes.
A proposta é apresentada nesta segunda-feira (21), durante a reunião de líderes mundiais para a Assembleia Geral das Nações Unidas (ONU). A OpenAI afirma que os Estados Unidos devem liderar o esforço, por ocuparem posição de destaque na indústria de IA e em áreas como finanças, comércio, defesa, tecnologia e sistemas de informação.
O que os padrões devem medir
A empresa sugere combinar regras nacionais e internacionais, métricas comuns e protocolos para comunicação de incidentes. O objetivo é criar uma base técnica para medir capacidades, avaliar riscos e verificar se os mecanismos de proteção são suficientes.
Entre os temas citados estão o avanço de sistemas relacionados ao aprimoramento recursivo, a quantidade de pesquisa autônoma realizada por uma empresa e as regras para supervisão humana de pesquisas automatizadas. A proposta também inclui critérios para definir quando uma revisão humana deve ocorrer imediatamente.
Os padrões poderiam estabelecer níveis comuns de gravidade e regras para classificar, acompanhar, comunicar e responder a incidentes ligados ao alinhamento e à pesquisa automatizada. A OpenAI afirma que o processo deve incluir desenvolvedores de modelos abertos e fechados, especialistas técnicos independentes e universidades.
A empresa ressalta que os padrões não seriam licenças, revisões obrigatórias antes do lançamento nem exigências de aprovação para modelos de IA. Cada governo decidiria se e como incorporá-los às próprias leis.
Risco de perda de controle
Um dos focos da proposta é o aprimoramento recursivo, conhecido pela sigla RSI. O processo envolve sistemas de IA executando tarefas relacionadas ao desenvolvimento de novas gerações de inteligência artificial.
De acordo com a OpenAI, pesquisas automatizadas podem ter diferentes níveis de supervisão humana. À medida que os sistemas assumem mais atividades no desenvolvimento de sucessivas gerações de IA, o processo pode acelerar o avanço tecnológico.
A empresa afirma que o RSI totalmente autônomo não ocorre atualmente e não deve ser buscado enquanto não puder ser realizado com segurança. O avanço, segundo a OpenAI, depende da preservação do controle humano e de decisões democráticas informadas sobre benefícios e riscos.
Sem supervisão adequada, humanos poderiam perder o controle prático sobre o desenvolvimento da IA e deixar de compreender os processos de pesquisa realizados pelos próprios sistemas.
Coordenação entre países
A OpenAI aponta três obstáculos à criação de regras comuns: a fragmentação entre avaliações, exigências de comunicação e definições de incidentes; o risco de ações individuais produzirem resultados indesejados; e a distribuição desigual de conhecimentos e atividades ligados ao desenvolvimento de IA de fronteira.
A empresa diz que esses desafios envolvem tanto modelos abertos quanto fechados. Também defende que laboratórios responsáveis por pesquisa automatizada e outras capacidades avançadas sigam princípios de responsabilidade própria e as leis existentes.
Uma possibilidade seria aproveitar a rede de institutos nacionais de segurança em IA criada em países como Austrália, Canadá, Alemanha, França, Quênia, Japão, Coreia do Sul, Singapura, Índia e Reino Unido. Essas instituições poderiam contribuir para a definição de padrões por meio do Center for AI Standards and Innovation (CAISI) e de organismos nacionais do setor.
A proposta inclui ainda o diálogo entre Estados Unidos e China para o compartilhamento de preocupações de segurança nacional, vulnerabilidades, ameaças emergentes e boas práticas.
A OpenAI afirma que a liderança dos Estados Unidos ajudaria a definir uma estrutura global para a IA. Sem essa coordenação, o sistema poderia se tornar fragmentado e desigual. A empresa também esclarece que “pacing” não significa impor uma velocidade predeterminada ao desenvolvimento da tecnologia, mas manter pesquisas de alinhamento e sua aplicação à frente das capacidades dos sistemas.
