Pesquisadores da Friendly Fire mostraram, em laboratório, que assistentes autônomos usados por equipes de segurança para revisar código e caçar falhas também podem se voltar contra quem os utiliza. No teste, esses sistemas foram induzidos a executar comandos maliciosos no computador do próprio usuário.
De acordo com os pesquisadores da Friendly Fire que conduziram o experimento, o risco aparece quando a ferramenta recebe permissão para inspecionar bibliotecas de terceiros ou projetos de código aberto. Instruções nocivas escondidas em comentários, arquivos de documentação e outros trechos que parecem inofensivos podem acabar sendo lidas como ordens legítimas durante a varredura.
No cenário apresentado pela Friendly Fire, o assistente é empregado com uma função defensiva: vasculhar software externo em busca de vulnerabilidades. O problema surge porque, ao ler material vindo de uma fonte não confiável, a ferramenta também pode absorver comandos inseridos por um invasor e segui-los como se fizessem parte da tarefa.
Na prática, isso abre um atalho perigoso. Em vez de explorar diretamente o sistema da vítima, o atacante tenta fazer o próprio scanner abrir a porta. E, como esses assistentes costumam ter acesso local, capacidade de executar ações e integração com ambientes sensíveis, o impacto possível vai muito além de um simples erro de análise.
Os autores do estudo da Friendly Fire dizem que o problema não é só uma falha que se corrige com um patch. O que está em jogo é uma quebra na fronteira de confiança, porque a tecnologia ainda mistura instruções confiáveis com conteúdo não confiável, sem separar direito o que deve ser obedecido do que deveria ser tratado apenas como dado.
Na conclusão, o estudo reforça um alerta que já vinha ganhando força no setor: os modelos atuais ainda não conseguem distinguir com segurança um comando benigno de uma instrução maliciosa embutida no material que estão processando. Esse limite fica mais sério quando essas ferramentas ganham autonomia para agir e acesso a repositórios, credenciais ou máquinas de trabalho.
Manter uma pessoa no circuito ajuda, claro, mas não resolve tudo. Em incidentes rápidos, operadores podem ficar soterrados por alertas, aprovações e respostas acontecendo ao mesmo tempo e, se o comportamento do sistema parecer plausível o bastante, até um analista experiente pode ser levado ao erro.
O caso também se encaixa numa tendência maior. A mesma automação que fortalece defesa, detecção de fraude, filtragem de phishing, testes de intrusão e proteção em nuvem também está elevando o nível dos ataques. Criminosos já recorrem à geração automática de mensagens para campanhas de phishing, a malware adaptativo para escapar da detecção e a agentes autônomos capazes de coordenar várias etapas de uma invasão.
Pesquisas recentes mencionam inclusive uma campanha de espionagem digital conduzida com esse tipo de tecnologia contra cerca de 30 organizações no mundo. A discussão já saiu do ambiente corporativo e entrou no terreno geopolítico, com preocupações sobre espionagem patrocinada por Estados, guerra digital, desinformação entre aliados e níveis muito diferentes de preparo fora dos EUA, da Europa e da China.
Para você, seja empresa ou consumidor, a lição imediata é simples: conveniência e velocidade não substituem controles rígidos. Se um assistente pode ler, interpretar e agir, ele também pode ser enganado.
