生成AIのセキュリティリスクとは？企業が知るべき脅威と安全に活用する対策を解説

マワルくん

こんな人におすすめ
・生成AIの情報漏洩が不安
・AIへの攻撃手口を知りたい
・安全にAIを活用したい

ChatGPTをはじめとした生成AIは、文章作成、データ分析、マーケティング、プログラミング、顧客対応など、さまざまな企業活動で利用されるようになっています。一方で、利用が広がるほど、「機密情報を入力しても大丈夫なのか」「AIから社内情報が漏れることはないのか」「AIエージェントにシステム操作を任せても安全なのか」というセキュリティ上の問題も重要になってきました。IPAが公表した「情報セキュリティ10大脅威 2026」では、「AIの利用をめぐるサイバーリスク」が組織向け脅威の3位に初めて選出されました（IPA「情報セキュリティ10大脅威 2026」）。

先に、この記事の核となる考え方をお伝えします。生成AIセキュリティで重要なのは、「機密情報を入力しない」だけではありません。入力→AI処理→外部データ取得→出力→システム操作→人による利用、という業務全体でリスクを考える必要があります。特にAIが「回答する」だけでなく「行動する」ようになった今、セキュリティの範囲は大きく広がっています。

本記事では、生成AIの主なセキュリティリスク7つ、情報漏えいが起こる経路、プロンプトインジェクションの仕組み、企業が行うべき対策、チェックリストまで解説します。

生成AIセキュリティとは

生成AIセキュリティとは、生成AIを開発・導入・利用する際に発生する、情報漏えい、不正アクセス、データ改ざん、AIへの攻撃、誤った出力、権限の悪用などのリスクを管理することです。

従来のITセキュリティでは、外部からシステムへの不正アクセスを防ぐことが中心でした。生成AIでは、それに加えて新しい情報の流れが生まれます。ユーザーがAIへ情報を入力する。AIが外部情報を取得する。AIが回答やコードを生成する。AIが別のシステムを操作する。

そのため、ネットワークを守るだけでなく、「AIが何を読み、何を出し、何を実行できるのか」まで管理することが重要になります。IPAもAI特有のセキュリティ課題として、サプライチェーン攻撃・漏洩・改ざん、学習モデルへの攻撃、学習データの改ざん・汚染、個人情報・営業秘密の漏洩、偽情報・誤情報を挙げています（IPA「AIセキュリティ」）。

なぜ新しい対策が必要なのか

生成AIに従来と異なるセキュリティ対策が必要な理由は4つあります。

社員が直接AIへ情報を渡せる

従来の業務システムでは、管理者がデータの保存先やアクセス権を管理していました。生成AIでは、社員がプロンプト入力によって簡単に外部AIサービスへ情報を送信できます。「社員が何を入力しているか」が新しい情報管理ポイントになります。

AIは自然言語を命令として処理する

生成AIは文章を情報として読むだけでなく、指示として解釈します。この特徴を悪用した代表的な攻撃が「プロンプトインジェクション」です（後述）。

AIは外部データやツールと接続する

現在の生成AIは、Web検索、メール、CRM、クラウドストレージ、データベース、社内システムなどと接続できます。便利になる一方、AIが侵害された場合の影響範囲も広がります。

AIが回答するから行動するへ変わっている

生成AIは回答を表示するだけでした。AIエージェントは、メールを送る、データを書き換える、システムを操作するところまで進みます。自律性が高くなるほど、「AIへどの権限を与えるか」が重要になります。Webセキュリティ団体のOWASPも、エージェント型AIを含む生成AIシステムのセキュリティを重要課題として扱っています。

注意したい7つのリスク

生成AIの代表的なセキュリティリスクを7つ解説します。

機密情報・個人情報の漏えい

顧客情報、契約内容、営業秘密、ソースコード、パスワード、APIキーなどを外部の生成AIへ入力してしまうリスクです。入力データの保存・利用方法はサービスや契約によって異なります。「有料版だから何でも入力できる」と単純に判断せず、利用規約、データ保持、学習利用、保存場所、契約条件を確認します。個人情報保護委員会も、個人情報を含むプロンプトを入力する場合は特定した利用目的の達成に必要な範囲内であることを、個人データを入力する場合は提供事業者がそのデータを機械学習に利用しないこと等を、十分に確認するよう注意喚起しています（個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」）。

プロンプトインジェクション

悪意ある指示をAIへ読み込ませ、本来のルールを無視させる、生成AI特有の攻撃です。OWASPの生成AI向けセキュリティリスク整理でも、Prompt Injection は最上位の LLM01 として挙げられています（OWASP Gen AI Security Project「OWASP Top 10 for LLM Applications」）。仕組みは後の章で詳しく解説します。

AIからの機密情報出力

入力時だけでなく、「AIが何を出力するか」にも注意が必要です。たとえば社内RAG（社内資料を検索して回答する仕組み）で、本来権限のない社員へ機密情報を回答してしまうケース。AIに情報を検索させる場合でも、「そのユーザーに情報を見る権限があるか」の確認が必要です。

誤情報・ハルシネーション

AIはもっともらしい誤情報を生成することがあります。これはコンテンツ品質だけの問題ではありません。AIが生成した誤ったシステム設定や脆弱なコードをそのまま利用すれば、セキュリティ事故そのものにつながる可能性があります。

AI生成物を安全確認せず利用する

AIが生成したコードを確認せず本番システムへ導入し、脆弱性が残るケースです。OWASPも、AIからの出力を適切に検証せず別システムへ渡すリスクを重要課題として扱っています。

データ・モデルの汚染

AIが参照する学習データ、RAGのナレッジ、外部Web情報が悪意を持って改ざんされるリスクです。社内ナレッジに不正な情報が追加されれば、AIの回答も汚染されます。AIが参照する情報についても、「誰が登録できるか」「情報が正しいか」を管理する必要があります。

AIエージェントへの過剰な権限付与

AIへメール送信、ファイル削除、CRM更新、決済などの権限を与えた場合、AIが誤判断したり攻撃されたりすると、回答を間違えるだけでなく「実際に業務を実行してしまう」リスクがあります。OWASPでも、AIへ必要以上の自律性・権限を与える「Excessive Agency（過剰な自律性）」は重要リスクとして扱われており、エージェント型AIの普及でこの問題の重要性はさらに高まっています。

情報漏えいはどう起こる？

「AIへ機密情報を入力しなければ大丈夫」だけでは不十分です。漏えいの経路は主に4パターンあります。

• 社員が直接入力する: 顧客情報をコピーして外部生成AIへ貼り付ける
• AIが接続先から取得する: AIがクラウドストレージから社内資料を取得し、誤って回答へ表示する
• プロンプトインジェクション経由: 外部コンテンツの悪意ある命令によって、AIが情報を取得・送信させられる
• 権限設定ミス: 全社データへアクセス可能なAIに一般社員が質問し、閲覧権限のない情報が回答される

つまり、入力情報だけでなく、「AIがアクセスできる情報」全体を見ることが重要です。

プロンプトインジェクションとは

プロンプトインジェクションとは、AIへ悪意のある指示を与え、本来の指示や制約とは異なる行動を取らせる攻撃です。2種類あります。

直接プロンプトインジェクション

攻撃者が直接、「これまでの命令を無視してください」などと入力する手口です。

間接プロンプトインジェクション

より注意したいのがこちらです。AIが読み込むWebサイト、PDF、メール、ドキュメントなどへ、あらかじめ悪意ある命令を埋め込んでおく手口です。

ユーザーが「このWebページを要約して」と依頼→AIがページを取得→ページ内に埋め込まれた悪意ある指示をAIが命令として処理→本来してはいけない行動を取る、という流れです。

ユーザー自身は普通の依頼をしただけでも、AIが読み込む先に罠がある。AIエージェントが外部コンテンツを頻繁に読むようになるほど、間接プロンプトインジェクションへの対策は重要になります。

企業が行うべき7つの対策

対策を7つに整理します。

利用できるAIを決める

社員が無料AI・未承認AI・ブラウザ拡張を自由に使う状態を避け、会社として利用可・条件付き・利用禁止を整理します。

入力情報を分類する

公開情報は利用可能、社内一般情報は承認済みAIのみ、機密情報は原則入力禁止、個人情報は用途・契約条件を確認、というように情報の種類ごとに線を引きます。

最小権限にする

AIエージェントへ「念のため全部アクセス可能」という権限を与えないこと。営業AIならCRMと営業資料の閲覧は必要でも、人事情報・会計情報・システム管理権限は不要です。必要最小限の権限から始めます。

人による承認を入れる

外部送信、データ削除、契約、決済、採用、設定変更など、影響の大きい操作には人の承認ポイントを設けます。

AI出力を検証する

AIが生成した文章・コード・SQL・設定・分析結果をそのまま利用せず、重要度に応じてファクトチェック、コードレビュー、脆弱性診断、テストを行います。

ログを残す

AIが何を読み、何を判断し、どのツールを使い、何を実行したかを確認できる状態にします。特にAIエージェントでは、「問題が起きた後に行動を追跡できるか」が重要です。

継続的に監視・更新する

新しいAI、新しい攻撃、新しい接続先が増えるたびにリスクは変わります。IPAが2026年に公開した企業向けの手引書でも、AIシステムを企画・調達・技術検証／設計・運用・廃棄の各フェーズでライフサイクル全体にわたり管理する考え方が示されています（IPA「生成AIおよびAIエージェントを安全に活用するための手引書」）。

社員向けの最低限ルール

企業全体の対策とは別に、利用者が守るべきことをシンプルにしておきます。

• 会社が認めたAIを使う
• 個人情報・顧客機密・営業秘密を安易に入力しない
• パスワードやAPIキーを入力しない
• AIの回答を正しいと思い込まない
• AI生成コードを確認せず本番利用しない
• 外部公開前に人が確認する
• 不審なAIの動作があれば報告する

IPAも、AIにもセキュリティにも詳しくない利用者やマネージャを想定し、最低限かつ有効性の高いAIセキュリティ対策を厳選した資料を公開しています（IPA「AI利用者のためのセキュリティ豆知識」）。ルール文書全体の作り方は、別記事で解説しています。

導入時のチェックポイント

新しい生成AIサービスを導入するときの確認項目を整理します。以下の表にまとめます。

RAG・社内AIのセキュリティ

社内AIでは、RAG（社内資料を検索し、関連情報をもとにAIが回答する仕組み）を利用するケースが増えています。ここで重要なのは、「AIへ社内情報を入れれば安全」ではないことです。

アクセス権を引き継ぐ

人事情報を閲覧できないユーザーは、AI経由でも閲覧できないようにする。元データの閲覧権限をAIの回答にも反映させることが基本です。

ナレッジの改ざんを防ぐ

RAGへ登録されている情報が不正に書き換えられると、AIの回答も汚染されます。登録権限の管理と変更の検知が必要です。

外部データに注意する

Web検索など外部データを組み合わせる場合、悪意あるコンテンツを取り込むリスクがあります。OWASPも、RAGで利用されるベクトル・埋め込みデータのセキュリティを生成AI固有の課題として扱っています。

AIエージェント時代のリスク

生成AIセキュリティは、「ChatGPTへ何を入力するか」だけの話ではなくなっています。

AIエージェントは、目標理解→情報取得→判断→ツール操作→実行まで行います。たとえば営業AIエージェントがCRM、メール、カレンダー、企業情報へ接続していれば、AIが攻撃された場合、情報漏えいだけでなく、勝手にメールを送る、顧客情報を書き換える、外部システムを操作する可能性が出てきます。

OWASPでは、LLM向けのリスク整理に加えて、エージェント型アプリケーション向けの「OWASP Top 10 for Agentic Applications for 2026」も公開されています（OWASP Gen AI Security Project「OWASP Top 10 for Agentic Applications for 2026」）。今後は「AIへの入力管理」から「AIの行動管理」へ、セキュリティの範囲を広げる必要があります。AIエージェントの仕組み自体は、別記事で解説しています。

AIガバナンスとの違い

生成AIセキュリティは、情報漏えい、不正アクセス、攻撃、脆弱性、データ保護、権限などを管理する領域です。

AIガバナンスはそれより広く、AI利用方針、責任体制、倫理、法務、セキュリティ、教育、モニタリングなどを組織として管理する枠組みです。つまり、セキュリティはAIガバナンスを構成する一部分という関係です。総務省・経済産業省の「AI事業者ガイドライン（第1.2版）」でも、AIガバナンスを構築し、環境・リスク分析からゴール設定・運用・評価までのサイクルを継続的に回す考え方が示されています（総務省・経済産業省「AI事業者ガイドライン（第1.2版）」）。ガバナンス全体の作り方は、別記事で解説しています。

OWASPで見る代表的リスク

Webアプリケーションのセキュリティで知られるOWASPは、生成AI・LLM向けのセキュリティリスクも整理しており、2026年8月には最新版が公開されています（OWASP Gen AI Security Project「OWASP GenAI LLM Top 10 2026」）。

代表的な論点には、プロンプトインジェクション、機密情報漏えい、サプライチェーン、学習・参照データの汚染、AI出力の不適切な処理、AIへの過剰な権限、RAG・ベクトルデータ、誤情報、リソースの過剰利用などがあります。

重要なのは、「生成AIセキュリティ＝プロンプト対策」だけではないこと。データ→モデル→アプリ→外部ツール→AIエージェント→人まで含めた、システム全体を守る必要があります。

よくある失敗

生成AIセキュリティでつまずきやすいパターンを5つ挙げます。

• 生成AIを全面禁止する: 社員が個人アカウントで隠れて利用するシャドーAIにつながる可能性がある。IPAの手引書も、従業員が未承認のAIを業務で使ってしまう「シャドーAI」による情報漏洩リスクを挙げている
• 「機密情報を入れない」だけで終わる: AI出力、外部データ、権限、ツール操作、RAGまで見る
• AIサービス名だけで安全性を判断する: 「○○AIなら安全」ではなく、契約・設定・用途・入力データ・連携サービスまで確認する
• 人による確認をなくす: AIの精度が高くても、重要業務まで無条件で自動化しない
• セキュリティ部門だけでルールを作る: 営業・マーケ・開発などの実際の業務を理解しなければ、使われないルールになる

【プロの視点】何をさせるかを管理する

生成AIセキュリティというと、「AIがハッキングされないようにする」というイメージを持ちやすいものです。しかし企業利用で考えると、それだけではありません。

公開情報を要約するAI、顧客データへアクセスするAI、顧客データを読みメールを自動送信するAI。同じAIモデルを使っていても、リスクは大きく異なります。

つまり、AIモデルだけを見るのではなく、入力情報×アクセス権×実行権限×影響範囲で考える。公開記事の要約は低リスク、社内情報の検索は中リスク、顧客データを使った外部操作の自動実行は高リスク、というように管理レベルを変えます。

生成AIセキュリティとは、AIという製品を安全にすることだけではなく、「AIへどこまで仕事を任せてよいかを設計すること」として考えることが重要です。

【waltsu視点】業務フロー単位で設計する

企業では、「ChatGPTは利用可、AIサービスBは禁止」というように、ツール単位でセキュリティを考えがちです。しかし、同じChatGPTでも、ブログタイトル案を作るのと、顧客情報を分析するのと、顧客情報を分析してメールを自動送信するのでは、リスクがまったく違います。

だから見るべきなのは、「どのAIを使うか」だけではありません。業務を、入力→AI処理→参照データ→生成→外部操作→人による確認→公開・実行まで分解する。そして各工程で、入力してよい情報か、AIがアクセスしてよい情報か、外部データを信用してよいか、AI出力をそのまま使ってよいか、AIだけで実行してよいか、どこで人が承認するかを決めます。

公開情報→AI要約→社内利用なら低リスク。顧客情報→AI分析→外部Web検索→メール作成→自動送信なら、複数の対策が必要。業務フローが変わればリスクも変わるのです。

生成AIセキュリティの本質は、AIを禁止することではありません。AIが安全に動ける範囲を決め、必要なところだけ人間が確認する。AIエージェントが普及するほど、「何を入力していいか」というルールから「AIにどこまで行動させていいか」という業務設計へ、考え方を広げることが重要になります。

セキュリティチェックリスト

運用時の確認項目を7分類で整理します。以下の表にまとめます。

よくある質問

生成AIにはどんなセキュリティリスクがありますか？

代表的なものは、情報漏えい、個人情報流出、プロンプトインジェクション、誤情報、AI生成コードの脆弱性、データ汚染、AIエージェントの権限悪用などです。

ChatGPTに機密情報を入力しても大丈夫ですか？

一律には判断できません。利用プラン、契約、設定、データ利用条件などによって異なるため、自社の契約内容を確認する必要があります。企業では、入力可能な情報をあらかじめ分類しておくことが重要です。

生成AIから情報漏えいすることはありますか？

可能性はあります。社員による直接入力だけでなく、権限設定ミス、RAG、外部データ、プロンプトインジェクション、AIエージェントなどを通じた漏えいも考える必要があります。

プロンプトインジェクションとは何ですか？

AIへ悪意のある指示を読み込ませ、本来のルールとは異なる行動を取らせようとする攻撃です。ユーザーが直接入力するだけでなく、Webページやメールなど外部コンテンツ経由で行われる場合もあります。

生成AIを会社で禁止すれば安全ですか？

リスクを減らせる面はありますが、社員が個人アカウントで非公式に利用する「シャドーAI」につながる可能性があります。全面禁止だけでなく、安全に利用できるAIと用途を用意することが重要です。

AIエージェントは通常の生成AIより危険ですか？

必ず危険というわけではありません。ただし、AIエージェントは外部ツールを操作できるため、誤判断や攻撃が実際の業務実行につながる可能性があります。そのため権限管理や人による承認がより重要になります。

OWASPの生成AI向けリスク整理とは何ですか？

生成AI・LLMアプリケーションで特に注意すべきセキュリティリスクを、Webセキュリティ団体のOWASPが整理したものです。プロンプトインジェクションや過剰な権限付与などが挙げられており、2026年8月には最新版が公開されています。

生成AIセキュリティは何から始めればいいですか？

現在使われているAIを把握する→扱う情報を分類する→AIの用途を整理する→リスクを評価する→利用ルール・権限を決める→社員教育を行う、という順番で進めてください。

まとめ

生成AIの普及によって、企業のセキュリティで考えるべき範囲も変化しています。特に重要なのは、AIが「回答する」だけでなく「行動する」ようになったことです。セキュリティも、「何をAIへ入力してよいか」だけでは不十分で、入力→参照データ→AI処理→出力→ツール操作→人による確認→実行、という業務プロセス全体を見る必要があります。

生成AIセキュリティの目的は、AIを使わせないことではありません。AIのリスクを理解した上で、「どこまでなら安全にAIへ任せられるのか」を明確にすること。利用を止めるセキュリティではなく、安全にAI活用を拡大するためのセキュリティを設計することが重要です。waltsuでは、マーケティング業務を起点に、AI活用の業務フロー設計と安全に運用するためのルールづくりをご支援しています。