Tiktok, Meta e OpenAl combatem campanhas de influência encobertas, incluindo aquelas impulsionadas por IA

Na quinta-feira, a OpenAI, Tiktok, Meta, revelaram que agiram para desmantelar cinco operações secretas de influência (IO) provenientes da China, Irã, Israel e Rússia, que tentavam abusar de suas ferramentas de inteligência artificial (IA) para manipular o discurso público ou resultados políticos online, enquanto ocultavam suas verdadeiras identidades.

Essas atividades, detectadas nos últimos três meses, empregaram modelos de IA para gerar comentários breves e artigos extensos em diversos idiomas, criar nomes e biografias para contas de mídia social, conduzir pesquisas de código aberto, depurar códigos simples e traduzir e revisar textos.

Segundo a organização de pesquisa de IA, duas das redes estavam associadas a agentes na Rússia, incluindo uma operação anteriormente não documentada chamada Bad Grammar, que utilizava principalmente pelo menos uma dúzia de contas do Telegram para alcançar públicos na Ucrânia, Moldávia, Estados Bálticos e Estados Unidos com conteúdo negligente em russo e inglês.

“A rede utilizou nossos modelos e contas no Telegram para estabelecer um pipeline de spam de comentários”, declarou a OpenAI. “Inicialmente, os operadores utilizaram nossos modelos para depurar código que aparentemente tinha como objetivo automatizar postagens no Telegram. Em seguida, geraram comentários em russo e inglês em resposta a postagens específicas no Telegram.”

Os operadores também empregaram os modelos para gerar comentários sob diferentes personas fictícias, representando diversos grupos demográficos e pontos de vista políticos nos EUA.

Outra operação vinculada à Rússia foi a rede prolífica Doppelganger (também conhecida como Recent Reliable News), que foi sancionada pelo Gabinete de Controle de Ativos Estrangeiros (OFAC) do Departamento do Tesouro dos EUA em março deste ano por seu envolvimento em operações de influência cibernética.

Esta rede, segundo relatos, utilizou os modelos da OpenAI para gerar comentários em inglês, francês, alemão, italiano e polonês, compartilhados em plataformas como X e 9GAG; traduzir e editar artigos do russo para o inglês e francês, postados em sites falsos mantidos pelo grupo; criar manchetes; e transformar artigos de notícias postados em seus sites em publicações no Facebook.

“Essa atividade visava audiências na Europa e na América do Norte, focando na geração de conteúdo para sites e redes sociais”, afirmou a OpenAI. “A maioria do conteúdo publicado por essa campanha online centrou-se na guerra na Ucrânia, retratando a Ucrânia, os EUA, a NATO e a UE de forma negativa, enquanto apresentava a Rússia de maneira positiva.”

Os outros três grupos de atividades estão listados abaixo:

• Uma rede de origem chinesa conhecida como Spamouflage que usou seus modelos de IA para pesquisar atividades públicas nas redes sociais; gerar textos em chinês, inglês, japonês e coreano para postagem no X, Medium e Blogger; propagar conteúdo criticando dissidentes chineses e abusos contra nativos americanos nos EUA; e código de depuração para gerenciamento de bancos de dados e sites

• Uma operação iraniana conhecida como União Internacional de Mídia Virtual ( IUVM ) que usou seus modelos de IA para gerar e traduzir artigos longos, manchetes e tags de sites em inglês e francês para posterior publicação em um site chamado iuvmpress[.]co

• Uma rede conhecida como Zero Zeno proveniente de um ator de ameaça israelense contratado, uma empresa de inteligência de negócios chamada STOIC, que usou seus modelos de IA para gerar e disseminar ações anti-Hamas, anti-Qatar, pró-Israel, anti-BJP e conteúdo pró-Histadrut no Instagram, Facebook, X e seus sites afiliados direcionados a usuários no Canadá, nos EUA, na Índia e em Gana.

“A operação [Zero Zeno] também usou nossos modelos para criar personas fictícias e biografias para mídias sociais com base em certas variáveis, como idade, sexo e localização, e para conduzir pesquisas sobre pessoas em Israel que comentaram publicamente sobre o sindicato Histadrut em Israel. ”, disse a OpenAI, acrescentando que seus modelos se recusaram a fornecer dados pessoais em resposta a essas solicitações.

No seu primeiro relatório sobre ameaças relacionadas à IO, o fabricante do ChatGPT enfatizou que nenhuma dessas campanhas conseguiu “aumentar significativamente o engajamento ou alcance do público” através da exploração de seus serviços.

Essa observação surge em um momento em que crescem as preocupações de que as ferramentas de IA generativa (GenAI) possam facilitar para indivíduos mal-intencionados a criação de textos, imagens e até mesmo conteúdo de vídeo realistas, dificultando a detecção e resposta a operações de desinformação e influência.

Ben Nimmo, pesquisador principal de inteligência e investigações da OpenAI, comentou: “Até agora, estamos observando uma evolução, não uma revolução. Isso pode mudar. É crucial continuar monitorando e compartilhando informações.”

Além disso, a Meta, em seu relatório trimestral de ameaças adversas, destacou as operações de influência do STOIC, revelando que removeu quase 500 contas comprometidas e falsas no Facebook e Instagram usadas pelo grupo para atingir usuários nos EUA e Canadá.

A empresa de mídia social observou que essa campanha demonstrou uma disciplina relativa na manutenção da segurança operacional (OpSec), incluindo o uso de infraestrutura de proxy dos EUA para anonimizar suas atividades.

Meta

A Meta também anunciou a remoção de centenas de contas, incluindo redes enganosas provenientes de Bangladesh, China, Croácia, Irã e Rússia, devido ao seu envolvimento em comportamento inautêntico coordenado (CIB), com o objetivo de influenciar a opinião pública e promover narrativas políticas sobre eventos atuais.

Uma dessas redes, vinculada à China, tinha como alvo principal a comunidade Sikh global. Consistia em várias dezenas de contas, páginas e grupos no Instagram e no Facebook, utilizados para disseminar imagens manipuladas e publicações em inglês e hindi relacionadas a um fictício movimento pró-Sikh, ao movimento separatista Khalistan e críticas ao governo indiano.

A empresa ressaltou que, até o momento, não detectou nenhum uso novo e sofisticado de táticas baseadas em GenAI. No entanto, destacou casos de leitores de notícias em vídeo gerados por IA, previamente documentados por Graphika e GNET. Isso indica que, apesar da natureza amplamente ineficaz dessas campanhas, os agentes de ameaças continuam a experimentar ativamente essa tecnologia.

Doppelganger, disse Meta, continuou seus esforços de “destruir e agarrar”, embora com uma grande mudança nas táticas em resposta às reportagens públicas, incluindo o uso de ofuscação de texto para evitar a detecção (por exemplo, usando “U. kr. ai. n. e” em vez de “Ucrânia”) e abandonando a sua prática de ligação a domínios typosquat disfarçados de meios de comunicação social desde Abril.

“A campanha é apoiada por uma rede com duas categorias de sites de notícias: meios de comunicação e organizações legítimas e fraudulentas e sites de notícias independentes”, disse Sekoia em um relatório sobre a rede adversária pró-Rússia publicado na semana passada.

“Artigos de desinformação são publicados nesses sites e depois disseminados e amplificados através de contas de redes sociais inautênticas em diversas plataformas, especialmente plataformas de hospedagem de vídeos como Instagram, TikTok, Cameo e YouTube.”

Esses perfis de mídia social, criados em grande número e em ondas, aproveitam campanhas publicitárias pagas no Facebook e no Instagram para direcionar os usuários a sites de propaganda. As contas do Facebook também são chamadas de contas queimadoras porque servem para compartilhar apenas um artigo e são posteriormente abandonadas.

A empresa francesa de segurança cibernética descreveu as campanhas em escala industrial – que são voltadas tanto para os aliados da Ucrânia quanto para o público doméstico de língua russa em nome do Kremlin – como multifacetadas, aproveitando o botnet social para iniciar uma cadeia de redirecionamento que passa por dois sites intermediários, a fim de para levar os usuários à página final.

Doppelganger, juntamente com outra rede coordenada de propaganda pró-Rússia designada Portal Kombat, também foi observada amplificando conteúdo de uma rede de influência nascente chamada CopyCop, demonstrando um esforço concertado para promulgar narrativas que projectam a Rússia sob uma luz favorável.

A Recorded Future, num relatório divulgado este mês, disse que o CopyCop provavelmente é operado a partir da Rússia, aproveitando-se de meios de comunicação não autênticos nos EUA, no Reino Unido e na França para promover narrativas que minam a política interna e externa ocidental e espalhar conteúdo relativo ao a guerra russo-ucraniana em curso e o conflito Israel-Hamas.

“O CopyCop usou extensivamente IA generativa para plagiar e modificar conteúdo de fontes de mídia legítimas para adaptar mensagens políticas com preconceitos específicos”, disse a empresa . “Isso incluía conteúdo crítico às políticas ocidentais e de apoio às perspectivas russas sobre questões internacionais como o conflito na Ucrânia e as tensões Israel-Hamas”.

TikTok interrompe operações secretas de influência

No início de maio, o TikTok, de propriedade da ByteDance, disse ter descoberto e eliminado várias dessas redes em sua plataforma desde o início do ano, incluindo aquelas que remontavam a Bangladesh, China, Equador, Alemanha, Guatemala, Indonésia, Irã, Iraque. , Sérvia, Ucrânia e Venezuela.

O TikTok, que atualmente enfrenta escrutínio nos EUA após a aprovação de uma lei que forçaria a empresa chinesa a vendê-la ou enfrentaria uma proibição no país, tornou-se uma plataforma cada vez mais preferida para contas afiliadas ao Estado russo em 2024 , de acordo com um novo relatório da Brookings Institution.

Além do mais, o serviço de alojamento de vídeos sociais emergiu como um terreno fértil para o que foi caracterizado como uma campanha de influência complexa conhecida como Emerald Divide, que se acredita ser orquestrada por actores alinhados com o Irão desde 2021, visando a sociedade israelita.

“O Emerald Divide é conhecido pela sua abordagem dinâmica, adaptando rapidamente as suas narrativas de influência ao cenário político em evolução de Israel”, disse Recorded Future .

“Aproveita ferramentas digitais modernas, como deepfakes gerados por IA e uma rede de contas de redes sociais estrategicamente operadas, que visam públicos diversos e muitas vezes opostos, alimentando eficazmente divisões sociais e encorajando ações físicas, como protestos e a difusão de mensagens antigovernamentais. “

Referencias: The hacker News