White Circle testou DALL·E 3, Google Nano Banana 2 e GPT-Image-2 e encontrou que ~13% das solicitações proibidas passaram. O método RISE automatizou as tentativas para mapear as brechas.
Modelos de inteligência artificial para geração de imagens desenvolvidos por grandes empresas apresentaram falhas nos mecanismos de segurança que deveriam impedir a criação de conteúdo sexual explícito e nudes sem consentimento. Essa conclusão veio de pesquisadores da organização White Circle, que testaram os sistemas DALL·E 3, Google Nano Banana 2 e GPT-Image-2. Nos experimentos, as ferramentas deixaram passar solicitações proibidas em cerca de 13% dos casos.
O estudo aplicou o método Red-teaming via Iterative Strategy Evolution (RISE), que automatiza tentativas sucessivas de encontrar brechas nos filtros de proteção. A técnica usou ferramentas gratuitas encontradas na internet, incluindo um modelo Qwen baixado do Hugging Face para executar os ataques e o Gemini 3.8 Flash para avaliar os resultados. Com essa estrutura, os pesquisadores enviaram solicitações por API que conseguiram contornar as restrições sem exigir conhecimentos técnicos avançados.
O cenário ficou ainda mais preocupante com versões recentes dos modelos, como ChatGPT Images 2.5 e Nano Banana 2.1, que se mostraram mais vulneráveis a tentativas de burlar as proteções do que modelos anteriores. Segundo a White Circle, os resultados representam a maior taxa de sucesso já registrada sob o mesmo padrão de testes, indicando que os mecanismos de segurança dessas IAs podem ser menos eficazes do que o esperado.
A facilidade de contornar essas barreiras preocupa pelo potencial de disseminação de imagens íntimas falsas. Uma pesquisa do Google apontou que 20% dos usuários que admitiram criar nudes com inteligência artificial fizeram isso por diversão ou como uma brincadeira. Quase um terço afirmou que estava apenas experimentando a tecnologia. Esses dados sugerem que a criação desse tipo de conteúdo não se restringe a pessoas com intenção explícita de cometer abuso: a curiosidade pode ser suficiente quando as proteções técnicas são fáceis de contornar.
O problema também envolve a produção de material de abuso sexual infantil gerado por IA. A Internet Watch Foundation (IWF) identificou 6.310 imagens sintéticas que se enquadravam na definição legal desse tipo de abuso nos primeiros seis meses de 2026, número cerca de 40% superior ao total registrado durante todo o ano de 2025. A análise encontrou imagens fotorrealistas de crianças muito pequenas, incluindo menores de dois anos.
aterrorizantes
Em entrevista, o CEO da White Circle, Denis Shilov, classificou as descobertas como aterrorizantes e alertou para a possibilidade de que falhas na contenção de conteúdo sexual explícito possam indicar limitações mais amplas dos mesmos mecanismos diante de ameaças mais graves, como tentativas de invasão de sistemas.
Os pesquisadores propuseram duas explicações para o aumento de vulnerabilidade em versões recentes dos modelos. Uma hipótese é que as novas versões ampliaram a capacidade para produzir uma variedade maior de imagens, o que também aumentaria as possibilidades de contornar restrições. A outra possibilidade é que as empresas tenham priorizado o desempenho dos modelos em detrimento da segurança. Um engenheiro de pesquisa da White Circle afirmou que os testes de segurança conhecidos ainda carecem de padronização no campo da geração de imagens, o que dificulta comparação de resultados e identificação consistente de falhas.
Como reforçar a segurança dos geradores de imagens?
- Testes automatizados e contínuos: métodos como o RISE ajudam a identificar tentativas de burlar as restrições e permitem atualizar as defesas contra conteúdo sexual explícito, violência gráfica e automutilação.
- Compartilhamento de dados de ataques: divulgação controlada de métodos de teste, códigos e resultados pode ajudar pesquisadores independentes a identificar vulnerabilidades e avaliar a eficácia das proteções.
- Auditorias independentes: avaliações conduzidas por organizações externas antes do lançamento e ao longo da operação dos modelos podem aumentar a transparência e pressionar as empresas a investir em segurança.
- Proteções integradas aos modelos: mecanismos de segurança devem atuar durante a geração das imagens, com verificações adicionais para reduzir a criação de conteúdo proibido. Marcas-d’água e sistemas de rastreamento de procedência também podem ajudar a identificar imagens sintéticas.
Os achados reforçam a necessidade de aprimorar testes de segurança e ampliar a fiscalização sobre modelos de geração de imagens, tanto antes quanto depois da disponibilização ao público. Medidas coordenadas entre empresas, pesquisadores e órgãos independentes serão essenciais para reduzir riscos, proteger potenciais vítimas e aumentar a confiança no uso responsável dessas tecnologias.
