最近のレポートは、人工知能（AI）システムのセキュリティを正確に測定することの難しさを強調しています。その中心的な主張は、既存のベンチマークがAIセキュリティの複雑さ、特に創発的なシステムプロパティを捉えきれていないということです。 ### ベンチマークの問題点 [こちら](https://berryvilleiml.com/docs/no-security-meter-ai.pdf)でリンクされているレポートは、AIセキュリティを確保するためにセキュリティとプライバシーのベンチマークを単純に最大化することの効果に疑問を呈しています。これらのベンチマークは、特にセキュリティのような創発的なプロパティを考慮した場合、真のAI能力を正確に反映していないと主張しています。 ### ソフトウェアセキュリティからの教訓 ソフトウェアセキュリティとの類似性を引き合いに出し、レポートはブラックボックステストからホワイトボックスコード分析、アーキテクチャリスク分析、そしてBuilding Security In Maturity Model (**BSIMM**) のようなプロセス主導の標準へと進化してきたことに言及しています。AIはソフトウェアよりも大きな影響を与える可能性があることを考えると、レポートは同様の測定アプローチが適用可能かもしれないと示唆しています。 ### 警戒を促す呼びかけ レポートは、堅牢な保証プロセスを実装することによるデータ管理とリスク管理の改善を通じて、AIセキュリティにおける実践的な進歩を提唱しています。しかし、AIのための決定的な「セキュリティメーター」は依然として掴みどころがなく、AIセキュリティの実践において一層の警戒が必要であると警告しています。