AIの幻覚は、高度に自信がありながらも不正確な出力を通じて人間の信頼を悪用することにより、重要インフラの意思決定に深刻なセキュリティリスクをもたらしています。AIモデルには確実性が欠如している場合、それを認識するメカニズムがありません。代わりに、その応答が不正確であっても、トレーニングデータ内のパターンに基づいて最も可能性の高い応答を生成します。これらの出力は権威があるように見えるため、現実世界のセキュリティ上の決定を導く際には特に危険です。 **Artificial Analysis**の**AA-Omniscienceベンチマーク**に基づくと、40のAIモデルを評価した2025年の調査では、テストされたモデルのうち4つを除くすべてが、難しい質問に対して正しい答えよりも自信に満ちた不正確な答えを提供する可能性が高いことがわかりました。AIがサイバーセキュリティ運用においてより大きな役割を果たすにつれて、組織は、人間が検証するまで、すべてのAI生成応答を潜在的な脆弱性として扱う必要があります。 ## AIの幻覚とは何か？ AIの幻覚とは、事実としては不正確でありながら、自信を持って提示されるもっともらしい響きの出力のことです。ベースとなる言語モデルは検証された情報を取得するのではなく、トレーニングデータ内の学習済みパターンから単語やフレーズを予測することによって応答を構築します。応答は統計的に可能性が高いものの、必ずしも真実ではないため、幻覚的な出力は正確な情報と非常によく似ている場合があります。AIモデルは、幻覚を起こしている間、存在しない情報源を引用したり、実施されたことのない研究を参照したり、信頼できる情報と同じ確信度で偽のデータを提示したりすることがあります。 組織にとって、AIの幻覚を取り巻く主な問題は、不正確さだけでなく、誤った信頼でもあります。AIの出力が絶対的な真実のように聞こえる場合、従業員はそれが正しいと仮定し、検証なしに行動する可能性があります。サイバーセキュリティ環境では、不正確なAI出力は、重要な意思決定に情報を提供するだけでなく、運用アクションをトリガーできる自動化システムに直接フィードされるため、重大なセキュリティリスクをもたらします。その結果、システムの中断、金銭的損失、および新しい脆弱性の導入につながる可能性があります。 ### AIの幻覚の原因は何か？ AIの幻覚の影響を軽減するための最初のステップは、それらがどのように形成されるかを理解することです。AIの幻覚に寄与する可能性のあるさまざまな要因を以下に示します。 * **不備のあるトレーニングデータ：** AIモデルは、トレーニングされたデータから学習します。そのデータに古い情報や明白な誤りが含まれている場合、モデルはその欠陥をその出力に組み込みます。モデルは矛盾を指摘せず、それらから学習します。 * **入力データのバイアス：** 特定のパターンやシナリオの過剰な表現は、AIモデルが文脈が異なる場合でも、それらのパターンを普遍的に適用可能と見なす原因となる可能性があります。 * **応答検証の欠如：** ベースとなる言語モデルは、事実の正確性を検証するように構築されていません。それらは、一貫性のあるもっともらしい出力を最適化します。一部のシステムは、このリスクを軽減するために取得またはグラウンディングレイヤーを追加しますが、コアの生成プロセスは幻覚に対して脆弱なままです。 * **プロンプトの曖昧さ：** 曖昧な入力は、AIモデルが仮定でギャップを埋める可能性を高め、不正確な出力と幻覚のリスクを高めます。 ## AIの幻覚がサイバーセキュリティに影響を与える3つの方法 すべてのAIの幻覚が同等の影響を与えるわけではありませんが、不正確または偽の情報は、組織を深刻なサイバー脅威に対して脆弱にする可能性があります。AIの幻覚が顕現する主な3つの方法は、脅威の見逃し、偽の脅威、および不正確なソリューションです。 ### 1. 脅威の見逃し AIによる脅威検出は、多くの場合、過去のデータと学習済み動作に基づいたパターンと異常の特定に依存します。サイバー攻撃が既知の動作と一致する場合、AIモデルはうまく機能しますが、一致しない場合、モデルは比較対象がなく、脅威が見過ごされる可能性があります。これは、特に過小評価されている攻撃手法や、ベンダーが知らない脆弱性を悪用し、したがってパッチが適用されていないゼロデイ攻撃に問題となります。これらの脅威はトレーニングデータに反映されないため、AIモデルはそれらをフラグを立てるのに十分なコンテキストを持たず、検出されない脆弱性の可能性が高まり、環境内での露出が増加します。 ### 2. 偽の脅威 脅威の見逃しとは対照的に、AIモデルは通常の活動を悪意のあるものとして誤分類し、存在しない脅威についてチームに警告することで、偽陽性を幻覚させる可能性もあります。たとえば、通常のネットワークトラフィックが疑わしいと誤解され、不要なインシデント対応アクションをトリガーするアラートが発生する可能性があります。これらの誤ったアラームは、システムシャットダウン、リソースの浪費、および偽の脅威による運用の中断につながる可能性があります。時間の経過とともに、繰り返される偽陽性はアラート疲労を引き起こし、セキュリティチームがすべての警告に対して鈍感になる可能性があります。これにより、チームがアラートを信頼しないように条件付けられている環境で、正当な脅威が見過ごされるリスクが高まります。 ### 3. 不正確な修復 これはAIの幻覚の最も危険な形態の1つであり、信頼がすでに確立された**後**に発生するためです。たとえば、AIシステムは、機密ファイルを削除したり、システム構成を変更したり、ファイアウォールルールを無効にしたりすることを自信を持って推奨する場合があります。これらのアクションが実行されると、特に特権アカウントを通じて実行される場合、組織はIDベースの攻撃、ラテラルムーブメント、または回復不能なデータ損失に対して脆弱になる可能性があります。AIによる脅威検出が正確であっても、幻覚的なガイダンスは、封じ込められたセキュリティインシデントをより広範な侵害にエスカレートさせる可能性があります。 ## 組織がAIの幻覚リスクを軽減する方法 AIの幻覚を完全に排除することはできませんが、以下の制御とガバナンス対策を通じて、その影響を大幅に軽減できます。 ### アクション前の人間のレビューを要求する AI生成の出力は、人間の検証なしに機密または特権アクションをトリガーすべきではありません。これは、インフラストラクチャの変更、アクセス更新、またはインシデント対応を含むワークフローにとって特に重要です。レビュー要件は、何かが間違っているように見える場合にのみ発生すべきではありません。モデルは、正しいか間違っているかに関わらず、同様に自信があるように聞こえる可能性があります。 ### トレーニングデータをセキュリティ資産として扱う AIの幻覚は、トレーニングデータに起因することがよくあります。古いレコード、バイアスのかかったデータセット、および不正確な情報を排除することによって、AIシステムをトレーニングまたはグラウンディングするために使用されるデータを定期的に監査することは、それらの欠陥が出力に現れる可能性を減らします。AI生成コンテンツがオンラインで一般的になるにつれて、将来のモデルが、以前のモデルによって生成された偽の情報でトレーニングされるリスクが増加し、これはモデル崩壊と呼ばれる現象で言及されることがあります。継続的なデータガバナンスなしでは、不備のあるAI出力のリスクは増加するばかりです。 ### AIシステムに最小権限アクセスを強制する AI駆動システムには、タスクを実行するために必要な権限のみが付与されるべきです。これは、幻覚的な推奨がそれを実行するように指示したとしても、ファイルを削除するのではなく、読み取る権限のみを持つAIシステムのようなものになる可能性があります。最小権限でアクセスを制限することにより、組織は、AIシステムが不正確なガイダンスを生成した場合でも、許可されている範囲を超えてアクションを実行できないことを保証します。 ### プロンプトエンジニアリングトレーニングに投資する AIの出力は入力の品質に大きく影響されるため、曖昧なプロンプトはモデルに不正確な仮定でギャップを埋める機会をより多く与え、幻覚のリスクを高めます。組織は、モデルに検証可能な出力を生成するように促す具体的なプロンプトの書き方について、従業員、特にAIシステムと直接対話する従業員をトレーニングすることを優先する必要があります。AIの出力は常に使用前に検証されるべきであることを理解している従業員は、デフォルトでAIシステムを権威として解釈する可能性が低くなります。 ## AIガバナンスの中心にIDセキュリティを置く AIの幻覚は、アクションにつながる場合に実際のセキュリティリスクとなります。これは主にモデルの問題ではなく、アクセス問題です。AIシステムが不正確なガイダンスに基づいてアクションを実行するのに十分なアクセス権を持っている場合、または人間が検証なしに出力を信頼する場合に、セキュリティインシデントが発生します。 **Keeper®**は、AI駆動の決定が不正確な場合でも、不正アクセスを防ぐために組織が必要とする可視性とアクセス制御を提供するように構築されています。最小権限アクセスを強制し、特権アクティビティを監視し、人間と非人間ID（NHI）の両方を保護することにより、組織はAIの幻覚が損害を与えるセキュリティインシデントに発展するリスクを軽減できます。 **注：** *この記事は、**Keeper Security**のコンテンツライターであるAshley D’Andreaによって、読者のために慎重に執筆され、寄稿されました。*