### Présentation de RAMPART : Un cadre de Red Teaming **RAMPART** (Risk Assessment and Measurement Platform for Agentic Red Teaming) est un framework natif **Pytest** conçu pour les tests de sûreté et de sécurité des agents IA. Cet outil permet aux développeurs d'écrire et d'exécuter des tests couvrant des scénarios à la fois contradictoires et bénins, abordant diverses catégories de nuisances. Les capacités de RAMPART incluent la simulation d'injections inter-prompts, où des données non fiables atteignent indirectement un système IA via des sources telles que les e-mails ou les pages web. Il facilite également les tests de régressions comportementales involontaires et de vulnérabilités d'exfiltration de données. L'outil évalue ensuite les résultats des tests et génère des rapports, ne nécessitant qu'un adaptateur pour connecter un agent à la suite de tests. RAMPART s'appuie sur **PyRIT** (Python Risk Identification Tool), publié précédemment par Microsoft, pour améliorer encore les tests des systèmes IA. ### Clarity : Un partenaire de réflexion IA **Clarity** fonctionne comme une "chambre d'écho structurée", guidant les développeurs vers la bonne approche avant l'implémentation du code. Il agit comme un "partenaire de réflexion IA", remettant en question les hypothèses et guidant les équipes à travers la clarification des problèmes, l'exploration des solutions, l'analyse des échecs et le suivi des décisions. ### Sécurité proactive par intervention précoce La motivation de Microsoft derrière la publication de ces outils est de traiter les décisions critiques prises tôt dans le développement logiciel. En identifiant les problèmes potentiels, tels que l'accès d'un agent à certains outils, l'équipe de développement peut les résoudre avant la construction du système. Selon **Ram Shankar Siva Kumar**, fondateur de l'AI Red Team de Microsoft, ces outils visent à "tester sous pression" les hypothèses dès le début du projet, lorsque la correction de trajectoire est plus rentable. ### Reproductibilité et évolutivité Un objectif secondaire est de rendre les incidents reproductibles et les atténuations vérifiables, en mettant à l'échelle les apprentissages des exercices de red teaming en actifs d'ingénierie exécutables. Siva Kumar souligne que si PyRIT est optimisé pour la découverte en boîte noire par les chercheurs en sécurité après la construction du système, RAMPART est conçu pour les ingénieurs pendant le processus de construction. Clarity aide les équipes à clarifier l'intention de conception et à capturer les hypothèses. Ensemble, ces outils font passer la sûreté de l'IA d'une revue ponctuelle à un ensemble d'artefacts vivants accessibles aux développeurs tout au long du cycle de vie.