O cientista-chefe da OpenAI, Jakub Pachocki, defende mais cautela no desenvolvimento de sistemas de inteligência artificial cada vez mais capazes. Em ensaio publicado no domingo (6), no site da empresa, ele afirma que as máquinas podem passar a participar progressivamente do próprio processo de evolução.
Pachocki diz ter forte expectativa, com base em resultados internos, de que o ritmo atual de progresso continue até o chamado autoaperfeiçoamento recursivo (RSI). Nesse cenário, sistemas de IA impulsionariam o próprio desenvolvimento. Para o pesquisador, o avanço exige intervenções mais amplas para permanecer sob controle humano.
Capacidades maiores e menor compreensão
Desde 2023, quando resultados do projeto RLSlow deram à equipe confiança para ampliar o treinamento de modelos de raciocínio, os sistemas passaram a operar computadores e interfaces gráficas, colaborar com pessoas e outras IAs e executar projetos de pesquisa, afirma Pachocki. Ele também aponta avanços em capacidades ligadas à segurança cibernética.
Ao mesmo tempo, os resultados ficaram mais difíceis de interpretar. O cientista afirma que a inteligência produzida pelo deep learning não é diretamente comparável à humana e que se torna mais difícil determinar do que os sistemas são capazes à medida que superam pessoas em mais áreas.
Segundo Pachocki, a IA é mais cultivada do que projetada, resultado da repetição de processos de otimização em grandes quantidades de computação. A complexidade dos sistemas ainda impede que seu funcionamento geral seja completamente descrito ou compreendido.
Alinhamento e monitoramento
O ensaio também trata do alinhamento, que busca fazer com que os sistemas ajam de acordo com padrões e objetivos considerados adequados pelos humanos. Pachocki diferencia o alinhamento de objetivos, ligado à execução do que foi determinado, do alinhamento de valores, relacionado à aplicação de princípios em situações novas ou ambíguas.
Sistemas mais inteligentes passam a atuar em ambientes diferentes dos encontrados durante o treinamento, o que pode dificultar a generalização dos valores ensinados. Para o pesquisador, futuras IAs precisam manter valores humanos mesmo quando não acreditarem estar sob supervisão.
A OpenAI usa, entre outras estratégias, o monitoramento da cadeia de pensamento para analisar o raciocínio verbalizado dos modelos. Pachocki afirma, porém, que as avaliações da empresa indicam uma redução progressiva da capacidade de depender desse recurso. Ele relaciona a mudança à maior complexidade dos ambientes, à habilidade de as IAs raciocinarem sobre o próprio raciocínio e ao aumento da inteligência sem raciocínio verbalizado.
Apesar dos riscos, Pachocki não defende interromper o desenvolvimento. Ele considera necessário treinar modelos mais inteligentes para criar defesas contra outras IAs, principalmente na cibersegurança. Segundo o cientista, os sistemas estão se tornando sobre-humanos para invadir e sair de sistemas computacionais, e os modelos mais avançados devem ser usados para proteger infraestruturas críticas.
Desaceleração e regras de segurança
Pachocki afirma que a necessidade de construir defesas não justifica um avanço imprudente. Para ele, a comunidade pode manter pessoas envolvidas no ciclo de desenvolvimento, fortalecendo alinhamento e monitoramento, ou coordenar uma desaceleração enquanto busca mais confiança nas medidas de segurança. Atualmente, ele defende combinar as duas alternativas.
O pesquisador também propõe condicionar o avanço à confiança nas medidas de segurança. Ele cita o Preparedness Framework, da OpenAI, e o Responsible Scaling Policy, da Anthropic, como compromissos que deveriam evoluir para parâmetros amplamente adotados. A fiscalização poderia envolver auditorias independentes, governos ou organismos internacionais.
No fim do ensaio, Pachocki afirma que nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar ampliando a escala da IA na velocidade máxima por muito mais tempo. Ele espera que desacelerações voluntárias se tornem comuns até a criação de parâmetros compartilhados e defende que governos tratem a coordenação internacional como prioridade.
Para o cientista, automatizar a pesquisa em IA não deve ter como único objetivo alcançar sistemas mais inteligentes. O desenvolvimento também precisa manter as pessoas envolvidas na melhoria contínua e preservar o controle humano sobre o futuro.
