Milhões de tiktokkers assistiram a uma versão de um vídeo na semana passada, afirmando falsamente que “eles estão instalando incineradores no Alligator Alcatraz”, referindo-se a uma teoria da conspiração da Internet que os fornos estavam sendo estabelecidos em um centro de detenção de imigração estatal na Flórida Everglades, que não se espalhou por não ter evidências.
Um dos vídeos que circulava o boato atraiu quase 20 milhões de visualizações. Isso estimulou uma conversa sobre Tiktok, com criadores pesando com suas próprias tomadas e, em alguns casos, tentando desmascarar a teoria infundada.
Mas há um relato cujas táticas se destacam nessa cacofonia familiar da viralidade on-line confusa: um Tiktokker de aparência realista, dando uma descrição direta para a câmera da conspiração do incinerador. A imagem e a voz do orador parecem ter sido criadas com ferramentas de inteligência artificial, de acordo com dois especialistas em mídia forense NPR consultados. The Twist: as palavras ditas no vídeo são exatamente as mesmas de outro vídeo publicado por uma conta Tiktok diferente dias antes. A versão copiada atraiu mais de 200.000 visualizações no Tiktok.
Pesquisadores da DeepFakes-imagens e vídeos gerados pela IA tão plausíveis que podem levar as pessoas a pensar que elas são reais-dizem que essa duplicação parece representar uma nova maneira como a IA está sendo aproveitada para enganar: ter ai recitar as palavras reais de uma pessoa real, até os tropeços, “ums” e “uhs” e “uhs”.
Ali Palmer, criador de Dallas, Texas, que publica em Tiktok como @aliunfiltered_, fez um vídeo sobre um pai que pulou de um navio de cruzeiro da Disney para salvar seu filho que foi arrancado usando suas palavras exatas para um vídeo feito com IA.
Copiar no Tiktok é galopante, disse ela, mas geralmente as contas de spam que o fazem novamente no seu vídeo inteiro. As contas movidas a IA recitando suas palavras por uma pessoa gerada pela IA são novas, disse ela.
“É perturbador. Parece uma violação da privacidade”, disse Palmer, 33 anos. “Eu nunca poderia imaginar copiar alguém e depois ganhar dinheiro com isso. Só se sente sujo”.
Com todos os tipos de cópia, Palmer o relatou a Tiktok, mas nada acontece. “É incrivelmente frustrante.”
Hany Farid, professor da Universidade da Califórnia em Berkeley, que estuda forense digital, disse que o que há de novo aqui é que as palavras de uma pessoa comum estão sendo roubadas.
“O tempo todo, estamos vendo as identidades das pessoas sendo cooptadas para fazer coisas como golpes de criptografia de Hawk ou empurrar curas falsas para o câncer, mas geralmente é uma pessoa ou influenciadora famosa”, disse Farid.
Farid usou uma ferramenta forense digital para analisar o vídeo do incinerador copiado, o vídeo da Disney Cruise e outros vídeos postados pela mesma conta, a pedido da NPR, e concluiu que eram os produtos da IA.
“É o tipo de coisa que seria super fácil com as ferramentas de IA de hoje e algo que facilmente escorregaria pelas rachaduras de moderação do conteúdo”, disse ele.
Enquanto o uso da IA para copiar vídeos não parece violar as políticas da Tiktok, a plataforma diz que exige que os usuários “rotulem todo o conteúdo gerado pela IA que contém imagens realistas, áudio e vídeo”. Os vídeos copiados NPR identificados não são rotulados como gerados pela IA.
O DeepFakes tem crescido mais sofisticado nos últimos anos, além de ser cada vez mais implantado para fins maliciosos.
A tecnologia tem sido usada para se passar por políticos, incluindo o secretário de Estado Marco Rubio, o ex -presidente Joe Biden e o presidente ucraniano Volodymyr Zelenskyy. A ascensão das ferramentas de “Nudify” Deepfake levou o Congresso no início deste ano a aprovar uma lei federal para combater a disseminação de imagens íntimas não consensuais, incluindo nus falsos gerados pela IA.
Um fato embaçado da ficção é essa abordagem mais recente de tentar capitalizar um momento viral de Tiktok, fazendo com que um criador fictício recite as palavras de um criador real.
É difícil avaliar o quão difundido a prática é no Tiktok, que é usado por mais de 1 bilhão de pessoas em todo o mundo. A NPR não conseguiu identificar as pessoas ou motivações por trás das contas replicando as palavras dos criadores. As contas não responderam aos pedidos de comentário. Tiktok nem a maioria dos criadores cujas palavras foram enroladas.
Duas contas identificadas pelo NPR usando as palavras de outros criadores e aparentemente usando imagens e vozes geradas pela IA têm algumas semelhanças: cada uma delas tem cerca de 10.000 seguidores, mas não seguem ninguém de volta. Muitos dos vídeos postados por ambas as contas retratar personas negras que Farid disse que Berkeley parece ser “deepFakes de baixa qualidade” feito com a IA. E cada conta roubou as palavras de outro Tiktok Creator sobre vários tópicos virais, variando de uma mulher que recebeu um facelift em Guadalajara a uma mulher vestindo uma gola de cachorro para Meghan Markle Dancing em uma sala de parto do hospital.
No vídeo de Markle, o criador assumiu um sotaque britânico. Em outros, a voz assume um registro completamente diferente.
“O maior indicador é quando você dá um passo atrás e olha para a conta como um todo, quando olha para um vídeo em comparação com outro vídeo, fica claro que a voz da persona muda de vídeo para vídeo”, disse Darren Linvill, professor de comunicações e co-diretor do centro forense de mídia da Clemson University. Linvill também revisou os vídeos a pedido da NPR e concluiu que eles foram feitos com a ajuda das ferramentas de IA.
Juntos, as duas contas exibiram milhões de visualizações, aproveitando histórias virais que se inclinam mais para forragem dos tablóides do que o drama político. Mas os pesquisadores que rastreiam a guerra de informações patrocinadas pelo Estado dizem que testar novas estratégias para suco de viralidade é algo que os atores apoiados pelo governo também fazem regularmente.
Linvill estuda como as nações, incluindo China, Rússia e Irã, usam ferramentas digitais para propaganda. Ele diz que criar personas de IA, como âncoras de notícias falsas, é uma tática também usada pelas operações de influência apoiadas pelo estado. Embora a NPR não encontras Atores e contas estaduais que buscam obter envolvimento nas plataformas de mídia social.
“Roubar conteúdo nas mídias sociais é tão antigo quanto a mídia social”, disse Linvill. “O que estamos vendo aqui é a IA fazendo o que vimos ser muito bom repetidamente, e isso está sistematizando as coisas, tornando os processos mais baratos, mais rápidos e fáceis. E a IA é realmente boa em torná -la mais rápida e fácil de roubar conteúdo”.
Alex Hendricks estava rolando Tiktok nesta semana, quando viu dois vídeos sobre a conspiração do incinerador da Flórida. É normal ver muitos criadores pesando sobre o mesmo assunto, mas esses vídeos o atingiram como incomum porque os monólogos eram assustadoramente idênticos, apenas em vozes de som diferente.
Então Hendricks fez um vídeo Tiktok apontando isso. No entanto, mal tem vistas.
“Eu sei que há muitas notícias falsas no Tiktok, e fiquei cético em relação a qualquer coisa por causa da IA, mas esse tipo de replicação parecia novo e louco”, disse Hendricks, 32, que trabalha no varejo em Montana. “É por isso que digo a todos: não acredite em nada que você vê. E referência cruzada tudo o que você vê antes de compartilhar no Tiktok”, disse ele. “Mas não tenho certeza se eles vão ouvir.”
