Microsoft、AIエージェントのセキュリティテスト用オープンソースツール「RAMPART」と「Clarity」を発表
**Microsoft**は、開発者が人工知能(AI)エージェントのセキュリティと安全性を厳密にテストできるようにするための、2つの新しいオープンソースツール、**RAMPART**と**Clarity**をリリースしました。これらのツールは、AIの安全性を事後的なレビュープロセスから、開発ライフサイクルに統合されたプロアクティブな一部へと移行させることを目指しています。

### RAMPART:レッドチーミングフレームワークの紹介
**RAMPART**(Risk Assessment and Measurement Platform for Agentic Red Teaming)は、AIエージェントの安全性とセキュリティテストのために設計された**Pytest**ネイティブのフレームワークです。このツールにより、開発者は敵対的シナリオと正常なシナリオの両方をカバーするテストを作成および実行し、さまざまな有害カテゴリに対処できます。
RAMPARTの機能には、電子メールやWebページなどのソースを介して信頼されていないデータが間接的にAIシステムに到達する、クロスプロンプトインジェクションのシミュレーションが含まれます。また、意図しない動作の退行やデータ漏洩の脆弱性のテストも容易にします。その後、ツールはテスト結果を評価してレポートを生成し、エージェントをテストスイートに接続するためのアダプターのみが必要です。RAMPARTは、Microsoftが以前リリースした**PyRIT**(Python Risk Identification Tool)を基盤としており、AIシステムのテストをさらに強化します。
### Clarity:AIシンキングパートナー
**Clarity**は、「構造化されたサウンドボード」として機能し、コード実装の前に開発者を適切なアプローチに導きます。これは「AIシンキングパートナー」として機能し、仮定に疑問を投げかけ、問題の明確化、ソリューションの探索、障害分析、意思決定の追跡を通じてチームを導きます。
### 早期介入によるプロアクティブなセキュリティ
Microsoftがこれらのツールをリリースした動機は、ソフトウェア開発の初期段階で行われる重要な意思決定に対処することです。エージェントが特定のツールにアクセスできるかなどの潜在的な問題を特定することで、開発チームはシステム構築前にそれらに対処できます。
MicrosoftのAI Red Teamの創設者である**Ram Shankar Siva Kumar**氏によると、これらのツールは、コース修正がより費用対効果の高いプロジェクトの開始時に、仮定を「プレッシャーテスト」することを目的としています。
### 再現性とスケーラビリティ
二次的な目標は、インシデントを再現可能にし、緩和策を検証可能にすることであり、レッドチーミング演習からの学習を、実行可能なエンジニアリング資産にスケールアップすることです。
Siva Kumar氏は、PyRITはシステム構築後のセキュリティ研究者によるブラックボックス検出に最適化されているのに対し、RAMPARTは構築プロセス中のエンジニア向けに設計されていると強調しています。Clarityは、チームが設計意図を明確にし、仮定をキャプチャするのに役立ちます。これら together、これらのツールはAIの安全性を一度限りのレビューから、ライフサイクル全体を通じて開発者がアクセスできる生きた成果物のセットへと移行させます。