Tanto o software de detecção quanto as marcas d’água podem ser driblados
Rishi Sunak é o primeiro-ministro da Grã-Bretanha. Se alguns anúncios no Facebook podem ser confiáveis (o que não podem), ele também parece estar vendendo esquemas de enriquecimento rápido. Um desses anúncios mostra o Sr. Sunak endossando um aplicativo supostamente desenvolvido por Elon Musk, um empresário, no qual os espectadores podem fazer “economias” regulares.
O vídeo é falso. Gerado com a ajuda da IA, é apenas um dos 143 anúncios desse tipo catalogados pela Fenimore Harper Communications, uma empresa britânica, que foram veiculados em dezembro e janeiro. Não são apenas as pessoas de destaque público que podem ter suas imagens usadas para fins duvidosos. Em junho de 2023, o Federal Bureau of Investigation nos Estados Unidos alertou o público sobre “agentes mal-intencionados” usando IA para criar vídeos e imagens sexualmente temáticos falsos de pessoas comuns, a fim de extorquir dinheiro.
Como detectar tais trapaças é um tópico atual entre pesquisadores de IA, muitos dos quais participaram do NeurIPS, uma das maiores conferências da área, realizada em Nova Orleans em dezembro. Uma série de empresas, de startups a gigantes da tecnologia estabelecidas como Intel e Microsoft, oferecem software que visa identificar mídia gerada por máquinas. Enquanto isso, os criadores de grandes modelos de IA estão procurando maneiras de “marcar” suas saídas para que imagens, vídeos ou textos reais possam ser facilmente distinguidos dos gerados por máquinas.
Mas essas tecnologias não se mostraram confiáveis até agora. Os especialistas em IA parecem pessimistas sobre suas perspectivas. The Economist conduziu uma enquete (profundamente não científica) com delegados do NeurIPS. Dos 23 entrevistados, 17 acreditavam que a mídia gerada por IA eventualmente se tornaria indetectável. Apenas um acreditava que a detecção confiável seria possível. (Os outros cinco se abstiveram, preferindo esperar para ver.)
O software de detecção depende da ideia de que os modelos de IA deixarão um rastro. Ou falharão em reproduzir algum aspecto de imagens e vídeos reais ou de texto gerado por humanos, ou adicionarão algo supérfluo – e farão isso com frequência suficiente para permitir que outro software detecte o erro. Por um tempo, os humanos podiam fazer o trabalho. Até cerca de meados de 2023, por exemplo, algoritmos de geração de imagens muitas vezes produziam pessoas com mãos deformadas, ou erravam os números em coisas como relógios. Hoje em dia, os melhores não fazem mais isso.
Mas tais sinais ainda existem, mesmo que estejam se tornando mais difíceis para os humanos detectarem. Assim como as máquinas podem ser treinadas para identificar gatos ou tumores cancerosos em exames médicos, elas também podem ser treinadas para diferenciar entre imagens reais e geradas por IA.
Parece, no entanto, que elas não podem fazer isso tão bem. O software de detecção é propenso a falsos positivos (marcar erroneamente o conteúdo humano como gerado por IA) e falsos negativos (permitir que coisas geradas por máquinas passem despercebidas). Um pré-impresso publicado em setembro por Zeyu Lu, um cientista da computação da Shanghai Jiao Tong University, descobriu que o programa de melhor desempenho falhou em identificar corretamente imagens geradas por computador 13% das vezes (embora isso tenha sido melhor do que os humanos, que erraram em 39% dos casos). As coisas não estão muito melhores quando se trata de texto. Uma análise, publicada em dezembro no International Journal of Educational Integrity, comparou 14 ferramentas e descobriu que nenhuma alcançou uma precisão de mais de 80%.
Se tentar detectar mídia gerada por computador após o fato é muito complicado, outra opção é rotulá-la com antecedência com uma marca d’água digital. Como no caso do papel, a ideia é adicionar um recurso distintivo que seja sutil o suficiente para não comprometer a qualidade do texto ou da imagem, mas que seja óbvio para quem procura por ele.
Uma técnica para marcar texto foi proposta por uma equipe da Universidade de Maryland em julho de 2023, e complementada por uma equipe da Universidade da Califórnia, em Santa Barbara, que apresentou suas modificações no NeurIPS. A ideia é mexer nas preferências de palavras de um modelo de linguagem. Primeiro, o modelo atribui aleatoriamente um punhado de palavras que conhece a um grupo “verde” e coloca todas as outras em um grupo “vermelho”. Em seguida, ao gerar um determinado bloco de texto, o algoritmo carrega os dados, aumentando a probabilidade de escolher uma palavra verde em vez de um de seus sinônimos vermelhos. Verificar a marca d’água envolve comparar a proporção de palavras verdes e vermelhas – embora, como a técnica é estatística, seja mais confiável para blocos maiores de texto.
Muitos métodos para marcar imagens, enquanto isso, envolvem ajustar os pixels de maneiras sutis, como mudar suas cores. As alterações são muito sutis para os observadores humanos notarem, mas podem ser detectadas por computadores. Mas cortar uma imagem, girá-la ou até mesmo desfocá-la e depois reafiar pode remover tais marcas.
Outro grupo de pesquisadores no NeurIPS apresentou um esquema chamado marca d’água “Tree-Ring”, que é projetado para ser mais robusto. Modelos de difusão, o tipo mais avançado de software de geração de imagens, começam preenchendo sua tela digital com ruído aleatório, do qual a imagem desejada emerge lentamente. O método tree-ring incorpora a marca d’água não na imagem finalizada, mas no ruído no início. Se o software que criou uma imagem for executado ao contrário, ele reproduzirá a marca d’água junto com o ruído. O ponto crucial é que a técnica é menos fácil de frustrar mexendo na imagem final.
Mas provavelmente não é impossível. Os marcadores de água estão em uma corrida armamentista com outros pesquisadores que visam derrotar suas técnicas. Outra equipe liderada por Hanlin Zhang, Benjamin Edelman e Boaz Barak, todos da Universidade de Harvard, apresentou um método (ainda não revisado por pares) que pode, segundo eles, apagar marcas d’água. Funciona adicionando um pouco de ruído novo e depois usando um segundo modelo de IA diferente para remover esse ruído, que remove a marca d’água original no processo. Eles afirmam ser capazes de frustrar três novos esquemas de marca d’água de texto propostos em 2023. Em setembro, cientistas da Universidade de Maryland publicaram um artigo (também ainda não revisado por pares) alegando que nenhum dos métodos atuais de marca d’água de imagem – incluindo Tree-Rings – é à prova de falhas.
No entanto, em julho de 2023, o governo dos EUA anunciou “compromissos voluntários” com várias empresas de IA, incluindo OpenAI e Google, para aumentar o investimento em pesquisa de marca d’água. Ter salvaguardas imperfeitas é certamente melhor do que não ter nenhuma (embora modelos de código aberto, que os usuários podem ajustar livremente, sejam mais difíceis de policiar). Mas na batalha entre falsificadores e detetives, parece que os falsificadores têm a vantagem superior. ■
Originalmente publicado na Economist.
Nenhum comentário ainda, seja o primeiro!