As alucinações de IA estão introduzindo sérios riscos de segurança na tomada de decisões de infraestrutura crítica, explorando a confiança humana através de resultados altamente confiantes, porém incorretos. Quando um modelo de IA carece de certeza, ele não possui um mecanismo para reconhecê-la. Em vez disso, ele gera a resposta mais provável com base em padrões em seus dados de treinamento, mesmo que essa resposta seja imprecisa. Esses resultados podem parecer autoritários, tornando-os especialmente perigosos quando impulsionam decisões de segurança do mundo real. Com base no **benchmark AA-Omniscience da Artificial Analysis**, uma avaliação de 2025 de 40 modelos de IA descobriu que todos, exceto quatro modelos testados, eram mais propensos a fornecer uma resposta confiante e incorreta do que uma correta em perguntas difíceis. À medida que a IA assume um papel maior nas operações de cibersegurança, as organizações devem tratar cada resposta gerada por IA como uma vulnerabilidade potencial até que um humano a tenha verificado. ## O que são Alucinações de IA? Alucinações de IA são resultados apresentados com confiança e que soam plausíveis, mas que são factualmente imprecisos. Modelos de linguagem base não recuperam informações verificadas; eles constroem respostas prevendo palavras e frases de padrões aprendidos em seus dados de treinamento. Como suas respostas são estatisticamente prováveis, mas não necessariamente verdadeiras, os resultados alucinados podem se assemelhar a informações precisas. Ao alucinar, os modelos de IA podem citar fontes inexistentes, referenciar pesquisas que nunca foram realizadas ou apresentar dados fabricados com a mesma convicção de informações confiáveis. Para as organizações, a principal questão em torno das alucinações de IA não é apenas a imprecisão, mas também a confiança mal colocada. Quando um resultado de IA soa como a verdade absoluta, os funcionários podem presumir que ele está correto e agir sobre ele sem verificação. Em ambientes de cibersegurança, resultados incorretos de IA representam riscos de segurança significativos porque não apenas informam decisões-chave, mas também alimentam diretamente sistemas automatizados que podem acionar ações operacionais. Os resultados podem incluir interrupções no sistema, perdas financeiras e a introdução de novas vulnerabilidades. ### O que Causa Alucinações de IA? O primeiro passo para mitigar o impacto das alucinações de IA é entender como elas se formam. Aqui estão os vários fatores que podem contribuir para as alucinações de IA: * **Dados de treinamento falhos:** Modelos de IA aprendem com os dados em que são treinados. Se esses dados contiverem informações desatualizadas ou erros diretos, o modelo incorporará essas falhas em seus resultados. Ele não sinalizará as discrepâncias; ele aprenderá com elas. * **Viés nos dados de entrada:** A super-representação de certos padrões ou cenários pode fazer com que um modelo de IA trate esses padrões como universalmente aplicáveis, mesmo quando o contexto difere. * **Falta de validação de resposta:** Modelos de linguagem base não são construídos para verificar a precisão factual. Eles otimizam para resultados coerentes e plausíveis. Embora alguns sistemas adicionem camadas de recuperação ou aterramento para reduzir esse risco, o processo de geração principal permanece vulnerável a alucinações. * **Ambiguidade de prompt:** Entradas vagas aumentam a probabilidade de que os modelos de IA preencham lacunas com suposições, aumentando o risco de resultados incorretos e alucinações. ## 3 Maneiras Como as Alucinações de IA Estão Impactando a Cibersegurança Nem toda alucinação de IA tem o mesmo impacto, mas informações incorretas ou fabricadas podem deixar as organizações vulneráveis a sérias ameaças cibernéticas. Três maneiras principais pelas quais as alucinações de IA se manifestam são ameaças perdidas, ameaças fabricadas e soluções incorretas. ### 1. Ameaças Perdidas A detecção de ameaças por IA geralmente depende da identificação de padrões e anomalias com base em dados históricos e comportamento aprendido. Quando um ataque cibernético se alinha com comportamentos conhecidos, o modelo de IA funciona bem; mas quando não se alinha, o modelo não tem nada com que comparar, então a ameaça pode passar despercebida. Isso é especialmente problemático para técnicas de ataque sub-representadas e ataques 0-day, que exploram vulnerabilidades desconhecidas pelo fornecedor e, portanto, não corrigidas. Como essas ameaças não são refletidas nos dados de treinamento, o modelo de IA carece de contexto suficiente para sinalizá-las, resultando em uma maior probabilidade de vulnerabilidades não detectadas e maior exposição dentro do ambiente. ### 2. Ameaças Fabricadas Em contraste com as ameaças perdidas, os modelos de IA também podem alucinar falsos positivos, classificando indevidamente atividades normais como maliciosas, alertando as equipes sobre ameaças que não existem. Por exemplo, o tráfego de rede normal pode ser mal interpretado como suspeito, acionando alertas que exigem ações de resposta a incidentes desnecessárias. Esses falsos alarmes podem levar a desligamentos do sistema, desperdício de recursos e interrupção das operações para ameaças fabricadas. Com o tempo, falsos positivos repetidos podem levar à fadiga de alertas, onde as equipes de segurança se dessensibilizam a todos os avisos. Isso aumenta o risco de que ameaças legítimas sejam ignoradas em ambientes onde as equipes foram condicionadas a desconfiar de alertas. ### 3. Remediação Incorreta Esta é uma das formas mais perigosas de alucinação de IA, pois ocorre *após* a confiança já ter sido estabelecida. Por exemplo, um sistema de IA pode recomendar com confiança a exclusão de arquivos confidenciais, a modificação de configurações do sistema ou a desativação de regras de firewall. Se essas ações forem executadas, especialmente através de contas privilegiadas, elas podem expor as organizações a ataques baseados em identidade, movimento lateral ou perda irreversível de dados. Mesmo quando a detecção de ameaças por IA é precisa, a orientação alucinada pode escalar um incidente de segurança contido para uma violação mais ampla. ## Como as Organizações Podem Reduzir os Riscos de Alucinação de IA Embora as alucinações de IA não possam ser totalmente eliminadas, seu impacto pode ser significativamente reduzido através dos seguintes controles e medidas de governança. ### Exigir Revisão Humana Antes da Ação Resultados gerados por IA não devem acionar ações sensíveis ou privilegiadas sem verificação humana prévia. Isso é especialmente importante para fluxos de trabalho que envolvem alterações de infraestrutura, atualizações de acesso ou resposta a incidentes. O requisito de revisão não deve ocorrer apenas quando algo parece errado; os modelos podem soar igualmente confiantes, quer estejam certos ou errados. ### Tratar Dados de Treinamento como um Ativo de Segurança Alucinações de IA frequentemente remontam aos dados de treinamento. Auditar regularmente os dados usados para treinar ou aterrar sistemas de IA, eliminando registros desatualizados, conjuntos de dados tendenciosos e informações imprecisas, reduz a probabilidade de que essas falhas apareçam nos resultados. À medida que o conteúdo gerado por IA se torna mais comum online, há um risco aumentado de que modelos futuros sejam treinados em informações fabricadas produzidas por modelos anteriores, em um fenômeno às vezes referido como colapso de modelo. Sem governança de dados contínua, o risco de resultados de IA falhos só aumenta. ### Aplicar Acesso de Menor Privilégio para Sistemas de IA Sistemas impulsionados por IA devem receber apenas as permissões necessárias para executar suas tarefas. Isso pode parecer um sistema de IA que tem permissão apenas para ler arquivos, não para excluí-los – mesmo que uma recomendação alucinada diga para fazê-lo. Ao restringir o acesso com o menor privilégio, as organizações garantem que, mesmo que um sistema de IA gere orientação incorreta, ele não possa executar ações além do que lhe é permitido fazer. ### Investir em Treinamento de Engenharia de Prompt Os resultados de IA são fortemente moldados pela qualidade da entrada, portanto, um prompt vago dá ao modelo mais oportunidade de preencher lacunas com suposições incorretas, aumentando o risco de alucinação. As organizações devem priorizar o treinamento de funcionários, especialmente aqueles que interagem diretamente com sistemas de IA, sobre como escrever prompts específicos que levem o modelo a produzir resultados verificáveis. Funcionários que entendem que os resultados de IA devem sempre ser validados antes do uso são menos propensos a interpretar o sistema de IA como autoritário por padrão. ## Coloque a Segurança de Identidade no Centro da Governança de IA Alucinações de IA se tornam riscos de segurança reais quando levam à ação, o que não é primariamente um problema do modelo, mas sim um problema de acesso. Incidentes de segurança surgem quando sistemas de IA têm acesso suficiente para agir com base em orientação incorreta, ou quando um humano confia em resultados sem verificação. **Keeper®** é construído para fornecer às organizações a visibilidade e os controles de acesso necessários para prevenir acesso não autorizado, mesmo quando as decisões impulsionadas por IA estão incorretas. Ao aplicar acesso de menor privilégio, monitorar atividades privilegiadas e proteger Identidades Humanas e Não Humanas (NHIs), as organizações podem reduzir o risco de alucinações de IA evoluírem para incidentes de segurança prejudiciais. **Nota**: *Este artigo foi cuidadosamente escrito e contribuído para nosso público por Ashley D’Andrea, Redatora de Conteúdo na **Keeper Security**.*