2週間前、**Anthropic**は、同社の新しいモデル「**Claude Mythos Preview**」が、専門家の指導なしにソフトウェアの脆弱性を自律的に発見し、それを機能するexploitに変換できると発表しました。これらは、オペレーティングシステムやインターネットインフラストラクチャのような主要ソフトウェアにおける脆弱性であり、これらのシステムに取り組む何千人ものソフトウェア開発者が見つけられなかったものです。この能力は、私たちが日々使用しているデバイスやサービスを危険にさらす、重大なセキュリティ上の影響をもたらすでしょう。その結果、**Anthropic**はこのモデルを一般公開せず、代わりに少数の企業に提供しています。 このニュースは、インターネットセキュリティコミュニティに衝撃を与えました。**Anthropic**の発表には詳細がほとんどなく、多くのオブザーバーを憤慨させました。一部では、**Anthropic**にはそれを実行するためのGPUがなく、サイバーセキュリティはリリースを制限するための口実だったと推測しています。他の人々は、**Anthropic**がAIの安全性ミッションを堅持していると主張しています。誇大広告と反誇大広告、現実とマーケティングがあります。専門家であっても、整理するには多くのことがあります。 私たちはMythosを、多くの段階的な進歩の中の、現実的ではあるが進歩的な一歩と見ています。しかし、大きな絵で見れば、段階的な進歩でさえ重要になり得ます。 ### AIはサイバーセキュリティをどう変えているか 私たちは、一般の人々も専門家も、段階的な進歩に隠された大規模な長期的な変化を過小評価してしまう現象である「ベースラインシフト症候群」について書いてきました。これはオンラインプライバシーでも起こり、AIでも起こっています。Mythosによって発見された脆弱性が、先月や去年のAIモデルでも発見できたとしても、5年前のAIモデルでは発見できなかったでしょう。 Mythosの発表は、AIがわずか数年で大きく進歩したことを思い出させてくれます。ベースラインは本当にシフトしました。ソースコード内の脆弱性の発見は、今日の大規模言語モデルが得意とするタスクです。それが去年起こったか、来年起こるかに関わらず、このような能力が間もなく登場することは、しばらく前から明らかでした。問題は、それにどう適応するかです。 自律的にハッキングできるAIが、攻撃と防御の間に永続的な非対称性を生み出すとは考えていません。それはもっと複雑になるでしょう。一部の脆弱性は、自動的に発見、検証、パッチ適用できます。一部の脆弱性は、発見は難しいが検証とパッチ適用は容易でしょう。例えば、標準的なソフトウェアスタック上に構築された汎用的なクラウドホスト型Webアプリケーションでは、アップデートを迅速に展開できます。さらに、強力なAIなしでも容易に発見でき、検証も比較的容易ですが、パッチ適用が困難または不可能なものもあります。例えば、めったにアップデートされない、または容易に変更できないIoTアプライアンスや産業機器などです。 さらに、コード内では脆弱性が容易に発見できるが、実際には検証が困難なシステムもあります。例えば、複雑な分散システムやクラウドプラットフォームは、数千もの相互作用するサービスで構成されており、実際の脆弱性と誤検知を区別し、それらを確実に再現することが困難になります。 したがって、パッチ適用可能なものとパッチ適用不可能なもの、検証が容易なものと検証が困難なものを区別する必要があります。この分類は、強力なAI脆弱性発見ツールの時代において、そのようなシステムを保護するための指針も提供します。 パッチ適用不可能または検証が困難なシステムは、より制限的で厳密に管理されたレイヤーでラップして保護する必要があります。冷蔵庫、サーモスタット、産業用制御システムは、インターネットと自由に通信するのではなく、制限的で常に更新されるファイアウォールで保護する必要があります。 根本的に相互接続された分散システムは、追跡可能であるべきであり、各コンポーネントが必要なアクセスのみを持つ「最小権限の原則」に従うべきです。これらは、AI時代に捨てたくなるかもしれない基本的なセキュリティの考え方ですが、依然としてこれまで以上に重要です。 ### ソフトウェアセキュリティプラクティスの再考 これはまた、ソフトウェアエンジニアリングにおけるベストプラクティスの重要性を高めます。自動化された、徹底的で継続的なテストは常に重要でした。今、私たちはこのプラクティスをさらに進め、防御的なAIエージェントを使用して、誤検知が排除され、実際の脆弱性と修正が確認されるまで、実際のスタックに対して繰り返しexploitをテストすることができます。この種のVulnOpsは、開発プロセスにおける標準的な一部になるでしょう。 ドキュメントは、開発者と同様に、AIエージェントにバグ発見ミッションを指示できるため、より価値が高まります。また、標準的なプラクティスに従い、標準的なツールやライブラリを使用することで、AIとエンジニアの両方が、個々のエフェメラルなインスタントソフトウェアの世界でも、パターンをより効果的に認識できるようになります。これは、オンデマンドで生成およびデプロイできるコードです。 これは攻撃と防御のどちらを有利にするでしょうか？防御側が最終的に有利になるでしょう。特に、パッチ適用と検証が容易なシステムでは。幸いなことに、それには私たちの電話、Webブラウザ、主要なインターネットサービスが含まれます。しかし、今日の車、変圧器、冷蔵庫、街灯はインターネットに接続されています。レガシーな銀行システムや航空システムもネットワーク化されています。 それらのすべてが、必要な速度でパッチ適用されるわけではなく、検証が最重要視され、ソフトウェアが継続的にパッチ適用される新しい常態に到達するまで、数年間の絶え間ないハッキングを目にするかもしれません。 *このエッセイはBarath Raghavanと共同で執筆され、元々は[IEEE Spectrum](https://spectrum.ieee.org/ai-cybersecurity-mythos)に掲載されました。*