Il y a deux semaines, **Anthropic** a annoncé que son nouveau modèle, **Claude Mythos Preview**, peut trouver et exploiter de manière autonome des vulnérabilités logicielles, les transformant en exploits fonctionnels sans l'aide d'experts. Il s'agissait de vulnérabilités dans des logiciels clés comme les systèmes d'exploitation et l'infrastructure Internet que des milliers de développeurs travaillant sur ces systèmes n'avaient pas réussi à trouver. Cette capacité aura des implications majeures en matière de sécurité, compromettant les appareils et les services que nous utilisons chaque jour. Par conséquent, **Anthropic** ne publie pas le modèle au grand public, mais plutôt à un nombre limité d'entreprises. La nouvelle a secoué la communauté de la sécurité Internet. Il y avait peu de détails dans l'annonce d'**Anthropic**, ce qui a fâché de nombreux observateurs. Certains spéculent qu'**Anthropic** ne dispose pas des GPUs nécessaires pour faire fonctionner la chose, et que la cybersécurité était une excuse pour limiter sa diffusion. D'autres soutiennent qu'**Anthropic** s'en tient à sa mission de sécurité de l'IA. Il y a du battage médiatique et du contre-battage médiatique, de la réalité et du marketing. C'est beaucoup à démêler, même pour un expert. Nous considérons Mythos comme une étape réelle mais incrémentale, l'une d'une longue série d'étapes incrémentales. Mais même les étapes incrémentales peuvent être importantes lorsque nous regardons la situation dans son ensemble. ### Comment l'IA change la cybersécurité Nous avons écrit sur le syndrome du "shifting baseline" (changement de référence), un phénomène qui amène les gens – le public comme les experts – à ignorer les changements massifs à long terme qui sont cachés dans des étapes incrémentales. Cela s'est produit avec la confidentialité en ligne, et cela se produit avec l'IA. Même si les vulnérabilités trouvées par Mythos auraient pu être trouvées à l'aide de modèles d'IA du mois dernier ou de l'année dernière, elles n'auraient pas pu être trouvées par des modèles d'IA d'il y a cinq ans. L'annonce de Mythos nous rappelle que l'IA a parcouru un long chemin en quelques années seulement : la référence a réellement changé. Trouver des vulnérabilités dans le code source est le type de tâche dans lequel les grands modèles linguistiques actuels excellent. Que cela se soit produit l'année dernière ou que cela se produise l'année prochaine, il était clair depuis un certain temps que ce type de capacité allait bientôt arriver. La question est de savoir comment nous nous y adaptons. Nous ne croyons pas qu'une IA capable de pirater de manière autonome créera une asymétrie permanente entre l'attaque et la défense ; ce sera probablement plus nuancé que cela. Certaines vulnérabilités peuvent être trouvées, vérifiées et corrigées automatiquement. Certaines vulnérabilités seront difficiles à trouver mais faciles à vérifier et à corriger – pensez aux applications web génériques hébergées dans le cloud, construites sur des piles logicielles standard, où les mises à jour peuvent être déployées rapidement. D'autres seront faciles à trouver (même sans IA puissante) et relativement faciles à vérifier, mais plus difficiles ou impossibles à corriger, comme les appareils IoT et les équipements industriels qui sont rarement mis à jour ou qui ne peuvent pas être facilement modifiés. Ensuite, il y a les systèmes dont les vulnérabilités seront faciles à trouver dans le code mais difficiles à vérifier en pratique. Par exemple, les systèmes distribués complexes et les plateformes cloud peuvent être composés de milliers de services interactifs fonctionnant en parallèle, ce qui rend difficile la distinction entre les vraies vulnérabilités et les faux positifs, et leur reproduction fiable. Nous devons donc séparer ce qui est corrigeable de ce qui ne l'est pas, et ce qui est facile à vérifier de ce qui est difficile à vérifier. Cette taxonomie nous donne également des indications sur la manière de protéger ces systèmes à l'ère des outils puissants de découverte de vulnérabilités par IA. Les systèmes non corrigeables ou difficiles à vérifier doivent être protégés en les encapsulant dans des couches plus restrictives et étroitement contrôlées. Vous voulez que votre réfrigérateur, votre thermostat ou votre système de contrôle industriel soit derrière un pare-feu restrictif et constamment mis à jour, et non qu'il communique librement avec Internet. Les systèmes distribués qui sont fondamentalement interconnectés doivent être traçables et suivre le principe du moindre privilège, où chaque composant n'a que l'accès dont il a besoin. Ce sont des idées de sécurité basiques que nous aurions pu être tentés de rejeter à l'ère de l'IA, mais elles sont toujours aussi pertinentes qu'auparavant. ### Repenser les pratiques de sécurité logicielle Cela augmente également la pertinence des meilleures pratiques en ingénierie logicielle. Les tests automatisés, approfondis et continus ont toujours été importants. Maintenant, nous pouvons aller plus loin et utiliser des agents IA défensifs pour tester des exploits contre une pile réelle, encore et encore, jusqu'à ce que les faux positifs soient éliminés et que les vraies vulnérabilités et corrections soient confirmées. Ce type de VulnOps deviendra probablement une partie standard du processus de développement. La documentation devient plus précieuse, car elle peut guider un agent IA dans une mission de recherche de bugs, tout comme elle le fait pour les développeurs. Et le respect des pratiques standard et l'utilisation d'outils et de bibliothèques standard permettent à l'IA et aux ingénieurs de reconnaître plus efficacement les modèles, même dans un monde de logiciels instantanés, individuels et éphémères – du code qui peut être généré et déployé à la demande. Cela favorisera-t-il l'attaque ou la défense ? La défense finira par l'emporter, probablement, surtout dans les systèmes faciles à corriger et à vérifier. Heureusement, cela inclut nos téléphones, nos navigateurs Web et les principaux services Internet. Mais les voitures, les transformateurs électriques, les réfrigérateurs et les lampadaires d'aujourd'hui sont connectés à Internet. Les anciens systèmes bancaires et de compagnies aériennes sont en réseau. Tous ces systèmes ne seront pas corrigés aussi rapidement que nécessaire, et nous pourrions connaître quelques années de piratages constants avant d'arriver à une nouvelle normalité : où la vérification est primordiale et où les logiciels sont corrigés en continu. *Cet essai a été écrit avec Barath Raghavan, et est apparu à l'origine dans [IEEE Spectrum](https://spectrum.ieee.org/ai-cybersecurity-mythos).*