### Vorstellung von RAMPART: Ein Red-Teaming-Framework **RAMPART** (Risk Assessment and Measurement Platform for Agentic Red Teaming) ist ein **Pytest**-natives Framework für Sicherheits- und Zuverlässigkeitstests von KI-Agenten. Dieses Tool ermöglicht es Entwicklern, Tests für sowohl gegnerische als auch gutartige Szenarien zu schreiben und auszuführen, die verschiedene Schadenskategorien abdecken. RAMPART kann unter anderem Cross-Prompt-Injections simulieren, bei denen nicht vertrauenswürdige Daten indirekt über Quellen wie E-Mails oder Webseiten in ein KI-System gelangen. Es erleichtert auch das Testen auf unbeabsichtigte Verhaltensänderungen und Schwachstellen bei der Datenexfiltration. Das Tool wertet dann die Testergebnisse aus und generiert Berichte. Es ist lediglich ein Adapter erforderlich, um einen Agenten mit der Testsuite zu verbinden. RAMPART baut auf **PyRIT** (Python Risk Identification Tool) auf, das Microsoft bereits zuvor veröffentlicht hat, um die Tests von KI-Systemen weiter zu verbessern. ### Clarity: Ein KI-Denkpartner **Clarity** fungiert als "strukturierte Diskussionsplattform", die Entwickler vor der Code-Implementierung zum richtigen Ansatz führt. Es agiert als "KI-Denkpartner", der Annahmen hinterfragt und Teams durch Problemklärung, Lösungsfindung, Fehleranalyse und Entscheidungsverfolgung führt. ### Proaktive Sicherheit durch frühzeitige Intervention Microsofts Motivation für die Veröffentlichung dieser Tools ist die Bewältigung kritischer Entscheidungen, die früh im Softwareentwicklungsprozess getroffen werden. Durch die Identifizierung potenzieller Probleme, wie z. B. den Zugriff eines Agenten auf bestimmte Tools, kann das Entwicklungsteam diese vor dem Systemaufbau beheben. Laut **Ram Shankar Siva Kumar**, Gründer von Microsofts AI Red Team, zielen diese Tools darauf ab, Annahmen "unter Druck zu setzen" (pressure-test) zu Beginn eines Projekts, wenn Kurskorrekturen kostengünstiger sind. ### Reproduzierbarkeit und Skalierbarkeit Ein weiteres Ziel ist es, Vorfälle reproduzierbar und Gegenmaßnahmen überprüfbar zu machen, indem Erkenntnisse aus Red-Teaming-Übungen in ausführbare Engineering-Assets skaliert werden. Siva Kumar betont, dass PyRIT für die Black-Box-Erkennung durch Sicherheitsexperten nach dem Systemaufbau optimiert ist, während RAMPART für Ingenieure während des Entwicklungsprozesses konzipiert wurde. Clarity unterstützt Teams bei der Klärung von Designabsichten und der Erfassung von Annahmen. Zusammen machen diese Tools die KI-Sicherheit von einer einmaligen Überprüfung zu einer lebendigen Sammlung von Artefakten, auf die Entwickler während des gesamten Lebenszyklus zugreifen können.