Gemini for Workspace do Google é vulnerável a ataques de injeção de prompt

Uma investigação recente revelou que o Gemini for Workspace do Google, um assistente de IA versátil integrado a vários produtos do Google, é suscetível a ataques indiretos de injeção de prompt.

Essas vulnerabilidades permitem que terceiros mal-intencionados manipulem o assistente para produzir respostas enganosas ou não intencionais, levantando sérias preocupações sobre a confiabilidade das informações geradas por este chatbot.

Gemini

O Gemini for Workspace foi projetado para aumentar a produtividade integrando ferramentas de IA em produtos do Google, como Gmail, Google Slides e Google Drive.

No entanto, pesquisadores da Hidden Layer demonstraram por meio de exemplos detalhados de prova de conceito que invasores podem explorar vulnerabilidades de injeção indireta de prompt para comprometer a integridade das respostas geradas pela instância Gemini alvo.

Um dos aspectos mais preocupantes dessas vulnerabilidades é a capacidade de realizar ataques de phishing .

Por exemplo, os invasores podem criar e-mails maliciosos que, quando processados ​​pelo Gemini for Workspace, fazem com que o assistente exiba mensagens enganosas, como alertas falsos sobre senhas comprometidas e instruções para visitar sites maliciosos para redefinir senhas.

Além disso, pesquisadores mostraram que essas vulnerabilidades se estendem além do Gmail para outros produtos do Google.

Por exemplo, no Google Slides, os invasores podem injetar cargas maliciosas nas notas do orador, fazendo com que o Gemini for Workspace gere resumos que incluem conteúdo não intencional, como a letra de uma música famosa.

A investigação também revelou que o Gemini for Workspace no Google Drive se comporta de forma semelhante a uma instância RAG (Retrieve, Augment, Generate) típica, permitindo que invasores injetem documentos e manipulem as saídas do assistente.

Isso significa que os invasores podem compartilhar documentos maliciosos com outros usuários, comprometendo a integridade das respostas geradas pela instância Gemini alvo.

Apesar dessas descobertas, o Google classificou essas vulnerabilidades como “Comportamentos Intencionais”, indicando que a empresa não as vê como problemas de segurança.

No entanto, as implicações dessas vulnerabilidades são significativas, especialmente em contextos sensíveis, onde a confiabilidade e a veracidade das informações são fundamentais.

A descoberta dessas vulnerabilidades destaca a importância de ser vigilante ao usar ferramentas com tecnologia LLM. Os usuários devem estar cientes dos riscos potenciais associados a essas ferramentas e tomar as precauções necessárias para se proteger de ataques maliciosos.

À medida que o Google continua a lançar o Gemini for Workspace para os usuários, é crucial que a empresa resolva essas vulnerabilidades para garantir a integridade e a confiabilidade das informações geradas por este chatbot.