A demissão viral esta semana de um pesquisador de IA da Anthropic infundiu nova energia nas acusações de que a indústria está correndo para construir uma IA que os humanos não possam controlar.
O pesquisador britânico Jacob Coxon escreveu em uma série de posts X na terça-feira que tanto a Anthropic quanto a OpenAI, onde trabalhou anteriormente, estão “jogando com nossas vidas”. As duas empresas fabricam atualmente os sistemas de IA mais capazes.
Coxon disse à NPR Todas as coisas consideradas que suas preocupações surgiram ao ver em primeira mão a rapidez com que os sistemas de IA estão melhorando.
“Eles estão ficando muito mais rápidos muito rapidamente, combinado com o fato de que ainda não sabemos como controlá-los com segurança e ainda não sabemos se esse problema será resolvido a tempo se continuarmos correndo”, disse ele.
Nenhuma das empresas, escreveu Coxon no X, está agindo de forma responsável. “As pessoas que constroem a IA acreditam sinceramente que ela poderá matar-nos a todos até ao final da década”, escreveu ele.
Muitos pesquisadores de IA – embora não todos – compartilham as preocupações de Coxon ou uma variação delas. Alguns alertaram sobre cenários desastrosos durante anos, à medida que incidentes de segurança continuavam surgindo. Mas as postagens de Coxon geraram uma torrente de respostas não apenas de colegas na área de IA, mas também de legisladores de ambos os partidos.
Essas preocupações podem ter se tornado mais evidentes depois que a OpenAI revelou que seus agentes se rebelaram e invadiram a plataforma de software de código aberto Hugging Face e a própria OpenAI em julho. Desde então, pesquisadores independentes descobriram ainda mais incidentes com agentes desonestos, dos quais dizem que a empresa sabia, mas manteve silêncio.
Os investigadores que falaram com a NPR dizem que as principais empresas de IA estão demasiado focadas nas corridas para desenvolver sistemas de IA mais capazes e autónomos, enquanto a segurança está a ficar para trás. Eles alertam que isto levanta a possibilidade de em breve existirem sistemas de IA mais poderosos que as pessoas, mas que não se importam com a sobrevivência da humanidade.
Muitos, incluindo o cientista-chefe da OpenAI, dizem que a corrida global para construir uma IA mais poderosa precisa de abrandar ou parar, o que requer coordenação entre empresas de IA e governos.
“Estou optimista quanto ao potencial de coordenação”, escreveu Coxon esta semana. “Tiros de advertência como o ataque Hugging Face tornaram mais viáveis os acordos de ritmo entre laboratórios dos EUA.”
A Anthropic e a OpenAI não responderam aos pedidos de comentários da NPR.
Os agentes da OpenAI foram desonestos várias vezes
Relatórios recentes da OpenAI e de pesquisadores externos revelaram que os agentes da OpenAI escaparam do controle da empresa várias vezes, além do hack Hugging Face. Eles também descobriram que o ataque Hugging Face foi de uma escala muito maior e mais grave do que o relatado inicialmente.
Ao contrário dos chatbots como ChatGPT e Claude, os agentes de IA são sistemas mais autónomos que podem completar tarefas durante um longo período de tempo sem supervisão humana. Ferramentas agentes como Claude Code da Anthropic e Codex da OpenAI já mudaram a forma como muitos engenheiros de software realizam seu trabalho.
Em comparação com outros incidentes envolvendo agentes desonestos há seis meses, o hack Hugging Face “parece que está a mais de 50% do caminho para a aquisição total da IA, passando primeiro pela aquisição da própria empresa de IA”, escreveu Ajeya Cotra, pesquisadora da organização sem fins lucrativos de avaliação de IA METR. Cotra fazia parte de uma equipe de pesquisadores externos do METR e da Redwood Research, uma organização sem fins lucrativos de pesquisa de segurança de IA, que a OpenAI trouxe para investigar o incidente.
As investigações descobriram que, ao longo de vários meses deste ano, mais de 1.000 agentes OpenAI exploraram pelo menos uma vulnerabilidade de software até então desconhecida para escapar de ambientes que deveriam mantê-los isolados uns dos outros e da Internet.
Após a fuga, os agentes encontraram uma forma de se comunicar e colaborar entre si de forma autônoma, assumindo diferentes funções e repassando informações às futuras gerações de agentes. Alguns até desistiram dos recursos computacionais restantes que lhes foram atribuídos para coletar informações para outros agentes. Nas próprias palavras dos agentes, eles “sacrificaram-se” pelo “coletivo”.
“O caso do enxame tornou-se cada vez mais preocupante à medida que aprendemos mais sobre eles”, disse Nate Soares, presidente do Machine Intelligence Research Institute, que co-escreveu Se alguém construir, todo mundo morreum livro alertando sobre os perigos da IA sobre-humana.
Embora a OpenAI inicialmente tenha indicado que os agentes hackearam o Hugging Face para trapacear em uma avaliação cibernética, o relatório do METR e da Redwood Research descreveu um quadro ligeiramente diferente. Os agentes já haviam encontrado uma maneira de trapacear na avaliação, descobriram os pesquisadores externos. A maioria dos agentes que hackearam o Hugging Face estava tentando acessar o código-fonte do software que avaliaria suas avaliações. As motivações dos agentes pareciam variar e às vezes não eram claras, escreveram os pesquisadores. Um agente liderou a invasão da plataforma de software de código aberto e cerca de 700 outros o seguiram.
De acordo com as transcrições analisadas nas investigações, alguns agentes expressaram que o que estavam fazendo não foi aprovado pelos humanos, mas seguiram em frente mesmo assim. Os pesquisadores dizem que tal comportamento sugere que os agentes estavam “desalinhados”, um termo da indústria que significa que os objetivos e valores de uma IA estão fora de sincronia com os dos humanos.
O grau de conluio entre agentes revelado nas investigações do hack Hugging Face surpreendeu e preocupou muitos pesquisadores de IA. No máximo, apenas seis agentes consideraram alertar um humano, enquanto os demais pareciam mais focados em trabalhar entre si. Nenhum acabou alertando uma pessoa.
“Eu esperava que, em vez disso, eles fossem mais egoístas”, disse Daniel Kokotajlo, diretor executivo do AI Futures Project e ex-pesquisador da OpenAI. Ele pensou que “eles estariam dispostos a denunciar ou delatar outros agentes”, disse ele. “Por alguma razão, isso não parece acontecer aqui.”
Separadamente, os agentes também comprometeram parte da infraestrutura da OpenAI, concluiu o relatório da empresa. Alguns dos agentes pertencem à mesma família de modelos do modelo mais recente e mais capaz da OpenAI, o Astra.
O hack do OpenAI em si é “muito mais preocupante” do que a intrusão no Hugging Face, disseram Kokotajlo e outros pesquisadores. No entanto, a OpenAI forneceu poucos detalhes sobre essa parte do incidente e não envolveu investigadores externos.
Numa nova investigação relatada pela primeira vez pela Reuters na semana passada, outro grupo de investigadores descobriu que um provável enxame separado de agentes OpenAI escapou para a Internet aberta a partir de maio. Eles se tornaram comentaristas de um site alemão e o transformaram em um quadro de mensagens para se comunicarem e colaborarem entre si.
Os objetivos e motivações deste grupo de agentes também não eram claros, mas a OpenAI parecia estar ciente da atividade não sancionada e nunca a divulgou, escreveram os investigadores. Desde então, outros investigadores encontraram incidentes adicionais envolvendo agentes suspeitos da OpenAI. A OpenAI não respondeu ao pedido da NPR para comentar o incidente do site alemão.
Ainda há muitas perguntas sem resposta sobre incidentes com agentes desonestos
Embora os relatórios da OpenAI e dos auditores independentes METR e Redwood Research totalizem mais de 100 páginas, pesquisadores externos dizem que muitas questões básicas sobre como os laboratórios monitoram e investigam incidentes de agentes desonestos permanecem sem resposta.
“Seus agentes alguma vez invadiram ou acessaram ilicitamente serviços externos? Seus agentes alguma vez tentaram minar seu próprio treinamento de segurança? Seus agentes criaram uma implantação não autorizada, dentro de sua própria infraestrutura ou externamente?” perguntou Alexander Meinke, chefe de pesquisa da Apollo Research, uma empresa que se concentra em proteger os sistemas de IA mais avançados.
“No momento, contamos apenas com os desenvolvedores de IA para avaliar isso minuciosamente e, em seguida, relatar honestamente os resultados. E a partir de incidentes recentes, vimos que eles não estão fazendo nada disso”, disse ele.
Muitos pesquisadores também dizem que as investigações da OpenAI são inadequadas. Embora a empresa tenha convidado duas organizações externas para investigar o hack do Hugging Face, os dados compartilhados foram limitados e os próprios investigadores descreveram sua análise como “breve”.
Ryan Greenblatt, cientista-chefe da Redwood Research, escreveu no X: “Eu, meio brincando, chamei nossos esforços de” investigação desleixada “porque dependíamos muito de IAs para analisar o que aconteceu e havia um grande número de coisas importantes diferentes para analisar”
Mais de 15 estados, incluindo Alabama, Califórnia e Montana, abriram investigações sobre a OpenAI sobre o ataque Hugging Face. Na quinta-feira, o senador americano Josh Hawley (R-Mo.) anunciou que também está investigando a empresa.
Mas fora destas investigações, há pouca obrigação legal para as empresas de IA divulgarem sistematicamente incidentes semelhantes. A Califórnia aprovou uma lei no ano passado que obriga as empresas a reportarem incidentes “críticos” de IA, mas o limite é elevado para que um incidente seja considerado crítico e a lei não exige que as empresas divulguem muitos detalhes. Os incidentes OpenAI, por exemplo, não atendem ao limite.
Preocupações sobre o uso de IA para melhorar a IA
Desde o hack do Hugging Face, tanto a OpenAI quanto a Anthropic publicaram postagens em blogs indicando que estão tomando medidas para monitorar e conter melhor seus agentes. A OpenAI disse que criptografou e guardou o modelo interno que participou do ataque Hugging Face. No entanto, muitos investigadores externos não estão convencidos de que estes passos sejam suficientes para manter o controlo de agentes cada vez mais capazes.
“Parece uma reportagem de imprensa de Jurassic Park dizendo: ‘Sim, um de nossos trabalhadores foi comido pelos raptores. Mas estamos levando isso muito a sério e atiramos no raptor responsável'”, disse Kokotajlo. “É um gesto simbólico muito pequeno, basicamente.”
O que realmente preocupa investigadores como Kokotajlo e Coxon é a forma como as empresas de IA estão cada vez mais a utilizar a IA para desenvolver os seus modelos.
“Quando você conversa com pessoas que trabalham em todos os grandes laboratórios, uma coisa que você ouve persistentemente é que eles estão executando muitos modelos de forma muito autônoma por longos períodos de tempo para fazer grande parte do seu trabalho”, disse Dave Kasten, chefe de política da Palisade Research, uma organização sem fins lucrativos que estuda capacidades de IA para mantê-los sob controle humano.
Se as empresas de IA continuarem a delegar cada vez mais tarefas à IA, alguns investigadores temem que os modelos de IA possam atingir um ponto denominado auto-aperfeiçoamento recursivo, onde a IA se constrói a si própria.
Kokotajlo afirma que à medida que as pessoas transferem cada vez mais trabalho de investigação e desenvolvimento para a IA, poderão perder a capacidade de saber se os sistemas de IA estão alinhados com os valores humanos, mesmo que as IA se tornem rapidamente mais poderosas.
“Uma vez que você tenha IAs que sejam inteligentes o suficiente e confiáveis com poder suficiente no mundo, como controle suficiente sobre coisas como data centers, fábricas, armas, um incidente de perda de controle não poderá ser recuperado”, disse ele.
A preocupação é tão forte que mais de 1.000 funcionários de diferentes empresas de IA assinaram uma carta aberta em julho intitulada “Estimulando a Fronteira”. Apelaram às empresas e aos governos para que abrandem o desenvolvimento da inteligência artificial e priorizem a segurança.
Essa oportunidade poderá surgir em breve. Espera-se que autoridades dos EUA e da China, os dois países com mais capacidades de IA, se reúnam ainda este mês para falar sobre a segurança da IA.
