Les hallucinations de l'IA introduisent de sérieux risques de sécurité dans la prise de décision des infrastructures critiques en exploitant la confiance humaine par le biais de sorties très confiantes mais incorrectes. Lorsqu'un modèle d'IA manque de certitude, il ne dispose pas d'un mécanisme pour le reconnaître. Au lieu de cela, il génère la réponse la plus probable basée sur les modèles de ses données d'entraînement, même si cette réponse est inexacte. Ces sorties peuvent paraître faisant autorité, ce qui les rend particulièrement dangereuses lorsqu'elles orientent les décisions de sécurité du monde réel. Basé sur le benchmark **AA-Omniscience d'Artificial Analysis**, une évaluation de 2025 de 40 modèles d'IA a révélé que tous les modèles testés, à l'exception de quatre, étaient plus susceptibles de fournir une réponse confiante et incorrecte qu'une réponse correcte aux questions difficiles. Alors que l'IA joue un rôle de plus en plus important dans les opérations de cybersécurité, les organisations doivent traiter chaque réponse générée par l'IA comme une vulnérabilité potentielle jusqu'à ce qu'un humain l'ait vérifiée. ## Qu'est-ce que les hallucinations de l'IA ? Les hallucinations de l'IA sont des sorties présentées avec assurance et plausibles qui sont factuellement inexactes. Les modèles de langage de base ne récupèrent pas d'informations vérifiées ; ils construisent des réponses en prédisant des mots et des phrases à partir de modèles appris dans leurs données d'entraînement. Comme leurs réponses sont statistiquement probables mais pas nécessairement vraies, les sorties hallucinationnées peuvent ressembler étroitement à des informations exactes. Lors d'hallucinations, les modèles d'IA peuvent citer des sources inexistantes, faire référence à des recherches qui n'ont jamais été menées ou présenter des données fabriquées avec la même conviction que des informations fiables. Pour les organisations, le principal problème entourant les hallucinations de l'IA n'est pas seulement l'inexactitude, mais aussi la confiance mal placée. Lorsqu'une sortie d'IA sonne comme la vérité absolue, les employés peuvent supposer qu'elle est correcte et agir en conséquence sans vérification. Dans les environnements de cybersécurité, les sorties d'IA incorrectes posent des risques de sécurité importants car elles informent non seulement les décisions clés, mais alimentent également directement les systèmes automatisés qui peuvent déclencher des actions opérationnelles. Les résultats peuvent inclure des interruptions de système, des pertes financières et l'introduction de nouvelles vulnérabilités. ### Qu'est-ce qui cause les hallucinations de l'IA ? La première étape pour atténuer l'impact des hallucinations de l'IA est de comprendre comment elles se forment. Voici les différents facteurs qui peuvent contribuer aux hallucinations de l'IA : * **Données d'entraînement défectueuses :** Les modèles d'IA apprennent à partir des données sur lesquelles ils sont entraînés. Si ces données contiennent des informations obsolètes ou des erreurs flagrantes, le modèle incorporera ces défauts dans ses sorties. Il ne signalera pas les divergences ; il en tirera des leçons. * **Biais dans les données d'entrée :** La surreprésentation de certains modèles ou scénarios peut amener un modèle d'IA à traiter ces modèles comme universellement applicables, même lorsque le contexte diffère. * **Manque de validation des réponses :** Les modèles de langage de base ne sont pas conçus pour vérifier l'exactitude factuelle. Ils optimisent pour des sorties cohérentes et plausibles. Bien que certains systèmes ajoutent des couches de récupération ou de mise à la terre pour réduire ce risque, le processus de génération de base reste vulnérable aux hallucinations. * **Ambiguïté des invites :** Des entrées vagues augmentent la probabilité que les modèles d'IA comblent les lacunes avec des hypothèses, augmentant le risque de sorties incorrectes et d'hallucinations. ## 3 façons dont les hallucinations de l'IA impactent la cybersécurité Toutes les hallucinations de l'IA n'ont pas le même impact, mais des informations incorrectes ou fabriquées peuvent rendre les organisations vulnérables à de sérieuses cybermenaces. Trois principales façons dont les hallucinations de l'IA se manifestent sont les menaces manquées, les menaces fabriquées et les solutions incorrectes. ### 1. Menaces manquées La détection des menaces par l'IA repose souvent sur l'identification de modèles et d'anomalies basés sur des données historiques et des comportements appris. Lorsqu'une cyberattaque correspond à des comportements connus, le modèle d'IA fonctionne bien ; mais lorsqu'elle ne correspond pas, le modèle n'a rien à comparer, donc la menace peut passer inaperçue. Ceci est particulièrement problématique pour les techniques d'attaque sous-représentées et les attaques zero-day, qui exploitent des vulnérabilités inconnues du fournisseur et sont donc non corrigées. Comme ces menaces ne sont pas reflétées dans les données d'entraînement, le modèle d'IA manque de contexte suffisant pour les signaler, ce qui entraîne une probabilité plus élevée de vulnérabilités non détectées et une plus grande exposition au sein de l'environnement. ### 2. Menaces fabriquées Contrairement aux menaces manquées, les modèles d'IA peuvent également halluciner de faux positifs en classant mal une activité normale comme malveillante, alertant les équipes de menaces qui n'existent pas. Par exemple, un trafic réseau normal peut être mal interprété comme suspect, déclenchant des alertes qui nécessitent des actions de réponse aux incidents inutiles. Ces fausses alarmes peuvent entraîner des arrêts de système, un gaspillage de ressources et des perturbations des opérations pour des menaces fabriquées. Au fil du temps, des faux positifs répétés peuvent entraîner une fatigue des alertes, où les équipes de sécurité deviennent désensibilisées à tous les avertissements. Cela augmente le risque que des menaces légitimes soient négligées dans les environnements où les équipes ont été conditionnées à se méfier des alertes. ### 3. Remédiation incorrecte C'est l'une des formes les plus dangereuses d'hallucination de l'IA car elle survient *après* que la confiance a déjà été établie. Par exemple, un système d'IA peut recommander avec assurance de supprimer des fichiers sensibles, de modifier des configurations système ou de désactiver des règles de pare-feu. Si ces actions sont exécutées, en particulier par le biais de comptes privilégiés, elles peuvent exposer les organisations à des attaques basées sur l'identité, à des mouvements latéraux ou à des pertes de données irréversibles. Même lorsque la détection des menaces par l'IA est précise, des conseils hallucinationnés peuvent transformer un incident de sécurité contenu en une violation plus large. ## Comment les organisations peuvent réduire les risques d'hallucination de l'IA Bien que les hallucinations de l'IA ne puissent être entièrement éliminées, leur impact peut être considérablement réduit grâce aux contrôles et mesures de gouvernance suivants. ### Exiger un examen humain avant l'action Les sorties générées par l'IA ne devraient pas déclencher d'actions sensibles ou privilégiées sans vérification humaine préalable. Ceci est particulièrement important pour les flux de travail impliquant des changements d'infrastructure, des mises à jour d'accès ou des réponses aux incidents. L'exigence d'examen ne devrait pas seulement se produire lorsque quelque chose semble erroné ; les modèles peuvent sembler tout aussi confiants qu'ils aient raison ou tort. ### Traiter les données d'entraînement comme un actif de sécurité Les hallucinations de l'IA remontent souvent aux données d'entraînement. L'audit régulier des données utilisées pour entraîner ou ancrer les systèmes d'IA en éliminant les enregistrements obsolètes, les ensembles de données biaisés et les informations inexactes réduit la probabilité que ces défauts apparaissent dans les sorties. Alors que le contenu généré par l'IA devient plus courant en ligne, il existe un risque accru que les futurs modèles soient entraînés sur des informations fabriquées produites par des modèles antérieurs, dans un phénomène parfois appelé effondrement du modèle. Sans une gouvernance continue des données, le risque de sorties d'IA défectueuses ne fait qu'augmenter. ### Appliquer le principe du moindre privilège pour les systèmes d'IA Les systèmes pilotés par l'IA ne devraient se voir accorder que les autorisations dont ils ont besoin pour effectuer leurs tâches. Cela peut ressembler à un système d'IA autorisé à lire des fichiers uniquement, pas à les supprimer – même si une recommandation hallucinationnée lui dit de le faire. En restreignant l'accès avec le moindre privilège, les organisations garantissent que même si un système d'IA génère des conseils incorrects, il ne peut pas exécuter d'actions au-delà de ce qui lui est autorisé. ### Investir dans la formation à l'ingénierie des invites Les sorties de l'IA sont fortement façonnées par la qualité des entrées, de sorte qu'une invite vague donne au modèle plus d'opportunités de combler les lacunes avec des hypothèses incorrectes, augmentant le risque d'hallucination. Les organisations doivent donner la priorité à la formation des employés, en particulier ceux qui interagissent directement avec les systèmes d'IA, sur la façon de rédiger des invites spécifiques qui amènent le modèle à produire des sorties vérifiables. Les employés qui comprennent que les sorties de l'IA doivent toujours être validées avant utilisation sont moins susceptibles d'interpréter le système d'IA comme faisant autorité par défaut. ## Placer la sécurité de l'identité au centre de la gouvernance de l'IA Les hallucinations de l'IA deviennent de réels risques de sécurité lorsqu'elles conduisent à l'action, ce qui n'est pas principalement un problème de modèle mais plutôt un problème d'accès. Les incidents de sécurité surviennent lorsque les systèmes d'IA ont suffisamment d'accès pour agir sur des conseils incorrects, ou lorsqu'un humain fait confiance aux sorties sans vérification. **Keeper®** est conçu pour fournir aux organisations la visibilité et les contrôles d'accès nécessaires pour empêcher les accès non autorisés, même lorsque les décisions pilotées par l'IA sont incorrectes. En appliquant le principe du moindre privilège, en surveillant l'activité privilégiée et en sécurisant les identités humaines et non humaines (NHI), les organisations peuvent réduire le risque que les hallucinations de l'IA évoluent en incidents de sécurité dommageables. **Note :** *Cet article a été rédigé avec soin et contribué à notre public par Ashley D’Andrea, rédactrice de contenu chez **Keeper Security**.*