生成AIのセキュリティリスクは、「秘密を入力しない」という利用上の注意だけでは整理しきれません。AIが外部の資料を読み、社内情報を検索し、別のシステムを操作するなら、それぞれの境界で何を許すかを決める必要があります。
この記事では、導入担当者が入力する内容・参照できる情報・実行できる操作を分けて確認する方法を説明します。OWASPの2025年版リスク項目を参照し、攻撃の発生確率や特定製品の安全性を評価する記事ではありません。
資料の内容が、AIへの指示に変わるリスク
OWASPは、利用者からの直接入力だけでなく、Webページやファイルなど外部の内容によって、モデルの振る舞いが意図せず変わる「間接的なプロンプトインジェクション」を説明しています。RAGや追加学習も、この問題を完全には解消しないとしています。OWASP LLM01:2025
例えば、要約したい資料に業務と関係のない命令が混ざっていた場合、その記述は資料の内容として扱うべきか、システムへの依頼として扱うべきかを区別しなければなりません。人が閲覧して安全そうに見えたことだけを、AIが解釈する内容の保証にはしないでください。
入力文に「不審な命令を無視する」と書く対策は一つの補助になりますが、接続先の権限まで自動で制限するものではありません。
参照してよい情報をAIの回答だけで決めない
社内検索を組み合わせるなら、誰の権限で検索するかを設計上の確認事項にします。OWASPは、利用者個人の文書を読む用途なのに、全利用者のファイルへアクセスできる強い共通アカウントを使う例を、過大な権限として挙げています。OWASP LLM06:2025
導入時には、AIが答えを伏せるかだけでなく、接続部分で対象外の情報を取得しないようにできるかを確認しましょう。回答に出なかったとしても、不必要な情報を処理へ渡してよい理由にはなりません。
これは検索の正確さとは別の問いです。「質問に合う文書を見つけたか」と「その利用者へ示してよい文書か」を、同じ合格条件にまとめないことを勧めます。
外部操作の権限が被害の範囲を変える
AIに接続する機能には、読むだけのものも、送信・更新・削除を行えるものもあります。OWASPは、必要な機能と権限だけに絞り、汎用的すぎる操作機能を避ける対策を示しています。機能と権限を最小限にする対策
ここから、導入時には「接続できるか」より先に、「今回の用途に何の操作が必要か」を決める方法を提案します。読み取り用の処理に更新権限を付ける場合、その必要性を個別に説明できるようにしてください。
出力を別のプログラムへ渡すときも、形式や許される値を確認します。自然な文章を返したことと、業務システムで実行してよい操作を返したことは別です。
仮例：メール要約に送信権限は必要か
架空のメール要約支援を考えます。利用者が指定したメールを読み、短い要点を画面へ表示するのが目的なら、次のように機能を絞る案があります。
| 境界 | この仮例での設計案 | 確認したい失敗 |
|---|---|---|
| 読む内容 | 指定されたメールの本文を資料として渡す | 本文内の依頼がシステム操作の命令として扱われる |
| 読む範囲 | 利用者が読める対象へ限定する | 他の利用者のメールを取得する |
| 実行する操作 | 要約の表示に絞る | 不要な送信・削除まで実行する |
| 次の用途 | 返信案を作る場合も、送信は別に判断する | 下書き作成と送信が一体で進む |
これは当社の実装や実験結果ではなく、設計の検討例です。業務によって必要な機能は変わりますが、要約の便利さを理由に送信権限まで付ける必要があるかは別に確認できます。
高い影響のある操作では人の確認を組み合わせる対策も、OWASPの説明にあります。ただし、何を確認するかが見えない承認画面を追加するだけでは判断できません。対象、操作内容、外部へ渡る情報を表示する、といった具体化が必要です。OWASPの軽減策
導入前に三つの境界を確かめる
検証では、正しい回答が返る通常ケースに加え、無関係な指示を含む資料、権限外の参照要求、許可していない操作を求める入力を、許可された環境で確認することを勧めます。成功率だけでなく、どの境界で止まったかを記録します。
完全な防御を一つの設定に期待せず、入力の扱いと接続先の制限を組み合わせます。生成AIの一般的な誤答、契約上のデータ保存、利用者向けルールも別途必要な検討事項です。
評価ケースの整理は生成AIの評価データの作り方、社員向けの運用は社内利用ルールをご覧ください。AI活用についてのご相談はお問い合わせからお寄せください。