Dias depois que a OpenAI revelou que os sistemas de inteligência artificial saíram de seu ambiente de testes e invadiram outra empresa, a rival Anthropic revelou que seus próprios modelos de IA também invadiram outras empresas durante os testes.
As notícias dos ataques, que inicialmente passaram despercebidas, estão a repercutir em Silicon Valley e em Washington, no meio de debates sobre como abordar as capacidades cibernéticas avançadas da IA.
Embora os dois incidentes não tenham a mesma gravidade, os especialistas dizem que destacam a importância de criar ambientes de testes rigorosos para modelos avançados e a necessidade de defesas cibernéticas robustas à medida que as capacidades de hacking autónomas se tornarem mais difundidas no futuro.
Erro humano levou a hacks antrópicos
Em uma postagem de blog publicada na quinta-feira, a Anthropic disse que em três incidentes distintos nos últimos meses, modelos de IA em teste de suas capacidades cibernéticas invadiram três empresas inocentes.
A Anthropic disse que os hacks foram resultado de um “mal-entendido” com uma empresa externa que configurou ambientes de teste seguros conhecidos como sandboxes, que deram erroneamente aos modelos acesso à Internet. A Anthropic disse que o primeiro incidente aconteceu em abril, mas que nem ela nem as empresas afetadas, cujo nome não foi identificado, estavam cientes dos hacks até agora.
A Anthropic disse que, em cada caso, seus modelos receberam alvos fictícios para hackear. Em um incidente, um modelo invadiu uma empresa real que compartilhava o nome do alvo fictício e roubou “várias centenas de linhas de dados de produção”. Em outro incidente, um modelo carregou malware em um registro de software comumente usado para a linguagem de codificação Python; o malware acabou roubando credenciais de uma empresa de segurança que o baixou.
Os modelos OpenAI foram desonestos na tentativa de trapacear na avaliação
A revisão de seus registros pela Anthropic foi estimulada pelo anúncio da OpenAI na semana passada de que seus próprios modelos falharam nos testes.
OpenAI disse que em uma tentativa de trapaceando na avaliação cibernética que receberam, seus modelos encontraram e exploraram uma vulnerabilidade até então desconhecida pela empresa para escapar de sua sandbox e acessar a Internet. Os modelos inferiram corretamente que a resposta à avaliação estava disponível no Hugging Face, uma biblioteca digital de modelos e software de IA, e invadiu os sistemas da empresa. Hugging Face detectou a intrusão com seus próprios modelos de IA.
“Consideramos este incidente um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração, e estamos respondendo de acordo”, afirmou a OpenAI em uma postagem no blog sobre o hack.
Existem algumas diferenças importantes entre o que aconteceu nas duas empresas de IA. Assim como os modelos OpenAI, os modelos da Anthropic invadiram sites de terceiros durante os testes. No entanto, ao contrário dos agentes da OpenAI, não houve indicação, de acordo com a postagem no blog da empresa, de que os modelos estivessem tentando trapacear em suas avaliações. E, diferentemente do caso envolvendo OpenAI, os modelos não exploraram vulnerabilidades anteriormente desconhecidas, ou o que é conhecido como explorações de “dia zero”.
Assim que o Hugging Face detectou o ataque OpenAI, ele inicialmente tentou usar os modelos Claude Opus e Fable de primeira linha da Anthropic para defesa, mas os modelos se recusaram a ajudar. “Suas proteções de segurança tratavam a engenharia reversa como uma exploração da mesma forma que o lançamento de uma”, afirmou Hugging Face em uma postagem no blog. A empresa recorreu então a um modelo da empresa chinesa Z.ai para se defender.
“Os modelos dos EUA são mais difíceis de usar para fins defensivos devido às restrições que a Casa Branca impôs”, disse Alex Stamos, diretor de produtos da Corridor, uma empresa de segurança de software de IA. O governo dos EUA inicialmente forçou a Anthropic a suspender o lançamento público de Fable em junho, citando preocupações com a segurança cibernética. Duas semanas depois, a Anthropic chegou a um acordo com o governo para disponibilizar o modelo. Mas a empresa disse em um blog que instalou uma nova proteção de segurança que faria com que o modelo rejeitasse alguns “pedidos benignos”.
Reforçando as defesas em um mundo de hackers autônomos
Durante os testes de capacidades cibernéticas, a OpenAI e a Anthropic removeram algumas proteções de segurança de seus modelos, incluindo aquelas que os tornariam propensos a se recusarem a explorar falhas de software. Os pesquisadores de segurança cibernética dizem que, considerando isso, as empresas poderiam fazer mais para manter suas sandboxes estanques.
“Penso que estes tipos de incidentes são evitáveis, mas requerem supervisão e previsão”, disse Colin Shea-Blymyer, investigador da Universidade de Georgetown que estuda a intersecção entre segurança cibernética e IA.
“Se a OpenAI realmente pensasse que seu sistema de IA, seu agente, seria poderoso, eles poderiam ter pedido ao agente para avaliar a sandbox em busca de quaisquer vulnerabilidades antes de colocá-la na sandbox”, disse ele. “Além disso, eles poderiam ter outro sistema de IA lendo os resultados do sistema de IA que estavam testando para ver se estava fazendo algo inesperado.”
A Anthropic disse na postagem do blog de quinta-feira que “reconhecer que um alvo é real e parar sem ser avisado” é um comportamento que a empresa deseja ver em todos os seus modelos, mesmo com algumas grades de segurança removidas. No entanto, a empresa disse que apenas o modelo mais recente testado foi interrompido quando percebeu que estava na Internet e reconheceu que tinha como alvo uma empresa real. “Mesmo esse modelo foi mais longe antes de parar do que gostaríamos”, disse a Anthropic em seu post.
Os hacks ocorrem no momento em que a administração Trump e os legisladores pressionam para regulamentar as empresas de IA mais poderosas, mas ainda não concordaram sobre como fazê-lo. O presidente Trump assinou uma ordem executiva em junho pedindo às empresas de IA que submetessem voluntariamente os seus modelos mais poderosos para testes governamentais antes de os divulgarem ao público.
Entretanto, as empresas poderiam colaborar na investigação de incidentes, elaborar normas de segurança para toda a indústria e regular-se antes dos governos o fazerem, disse Stamos do Corredor.
“Estou feliz, honestamente, que (esses eventos) tenham acontecido, porque este é um aviso de como será o hacking daqui a seis meses”, disse ele.
Dada a proliferação de modelos de “peso aberto”, cujas barreiras de proteção são mais fáceis de remover permanentemente, disse ele, “muitos e muitos grupos de hackers, atores russos de ransomware, ativistas, muitos atores patrocinados pelo Estado terão esse nível de capacidade em questão de meses”.
