未承認のAIを社員が使う。多くの企業は、これを情報漏洩やコンプライアンスの問題として扱う。もちろん、それは間違いではない。だが、問題の核心にはまだ届いていない。
Shadow AIは、最大のリスクそのものというより、組織の判断構造が見えていないことを知らせる警告灯である。問うべきは「どのAIを使ったか」だけではない。「そのAIに何を判断させ、誰が結果を引き受けたか」だ。
履歴書を、未承認のAIに貼り付けるとき
採用担当者が、応募者の履歴書を会社未承認の生成AIに貼り付け、「この候補者を面接に進めるべきか」と尋ねる。悪意はない。時間を節約し、判断材料を増やしたいだけである。
しかし、その数秒のあいだに、個人情報が外部サービスへ送られる。AIの評価が採用判断に入り込む。評価基準やバイアスは見えない。そして、その経路が会社の記録に残らない可能性がある。
ここで一つ、答えにくい問いが生まれる。
この候補者を落としたのは、いったい誰なのか。
担当者か。AIか。それとも、こうした使い方を黙認してきた組織か。
もちろん、個人情報を生成AIに入力すれば、常に情報漏洩が起きるわけではない。契約条件、保存設定、学習利用の有無、管理環境によってリスクは変わる。危ういのは、どの条件で、何を、どこまでAIに委ねたのかを、組織が説明できないことだ。
Shadow AIとは何か
Shadow AIとは、組織が正式に承認・把握していないAIツールやAI機能を、従業員が業務で利用することである。
対象は、単体の生成AIサービスだけではない。検索、ブラウザ、文書作成、顧客管理など、日常的なSaaSに追加されたAI機能も含まれる。従業員が「AIを使っている」と自覚しないまま、要約、評価、推薦といった判断の一部をAIへ渡すこともある。
この問題をEU AI Act対応の盲点として提起したのが、The European Financial Reviewに掲載されたDarren Williams氏の記事「Is Shadow AI your Biggest EU AI Act Compliance Risk?」である。記事の要点は明快だ。存在を把握していないAIは、用途を分類できず、人的監督も利用記録も示せない。
記事が紹介するBlackFogの調査では、大企業の従業員の約半数が業務データを未承認AIへ入力し、承認済みの代替手段があっても85％がShadow AIを使い続けると回答したという。ただし、Williams氏はセキュリティ企業BlackFogのFounder and CEOであり、数値も同社調査によるものだ。重要な問題提起ではあるが、独立した公的統計ではない。
EU AI Actが問うのは「未承認か」ではなく「何に使ったか」
ここで、誤解を一つ解いておきたい。Shadow AIは、EU AI Act上の法的分類ではない。未承認AIを使っただけで、自動的に「高リスクAI」になるわけでもない。規制上の位置づけを左右するのは、AIの機能、目的、利用文脈である。
EU AI Act（Regulation (EU) 2024/1689）は2024年8月1日に発効した。禁止行為とAIリテラシーに関する規定は2025年2月2日から適用され、規則の多くは2026年8月2日から適用される。一方、高リスクAIの適用日程については、2026年5月のAI Omnibusをめぐる政治合意を受け、欧州委員会が雇用などの分野を2027年12月2日、規制対象製品に組み込まれるAIを2028年8月2日と案内している。政治合意と正式な法改正は区別して読む必要がある。
採用では、応募を分析・選別し、候補者を評価する目的のAIが高リスク用途として附属書IIIに掲げられている。該当する場合、提供者にはリスク管理やデータガバナンスなどの要件が課される。導入者にも、適切な人的監督、運用監視、管理下にあるログの保存、入力データを管理する場合の関連性・代表性の確保などが求められる。提供者と導入者の義務は同じではない。
また、EU域外の企業でも、EU市場にAIを提供する場合や、域外で運用するAIの出力をEU域内で使用する場合には適用対象になり得る。日本企業も無関係とはいえない。個人データの入力についてはGDPRなど別の規律も関わるため、EU AI Actと一括りにはできない。
EUR-Lex, “Regulation (EU) 2024/1689 (Artificial Intelligence Act)” ／ European Commission, “AI Act”
管理されていないのは、ツールか、判断か
一般的なShadow AI対策は、どのAIが使われ、どのデータが入力され、ログが残っているかを調べる。どれも必要だ。しかし、これらは「何が使われたか」を追う問いである。
もう一つの系統の問いがある。AIは何を評価したのか。人間は本当に判断したのか、それともAIの推奨を追認しただけか。誰が例外を認め、問題が起きたときに誰が理由を説明するのか。
前者はツールの問いであり、後者は判断の問いである。Shadow AIの本当の危うさは、見えないツールが増えることより、見えない判断が増えることにある。業務上の判断権限が静かに移動しているのに、その移動が設計も承認も記録もされていない。
Governanceはルールと監督を整える。DXは業務と価値提供を変える。Automationは処理を自動化する。AI Ethicsは守るべき価値と原則を示す。どれも必要だが、個々の業務で「誰が、何を、どの条件で決めるか」までを、それだけで定めてはくれない。
日本の総務省・経済産業省による「AI事業者ガイドライン（第1.2版）」も、AIへの過度な依存や自動化バイアスに注意を促し、AI開発者・提供者・利用者の各主体に、用途とリスクに応じた人間の関与、安全性、プライバシー保護を求めている。自律的に動くAIエージェントの誤作動やプライバシー侵害を考えれば、必要な場面で人間の判断を実効的に働かせる仕組みは欠かせない。ただし、同ガイドラインは法律ではなく、あらゆるAI処理に一律の人間承認を義務づけるものでもない。
見るべきは、AIの一覧ではなく判断の経路である
AIツールの棚卸し、入力制御、ログ管理、リテラシー教育は必要である。だが、それらは主に「何が使われたか」を管理する仕組みであり、「誰が何を決めたか」を設計する仕組みではない。
本当に可視化すべきなのは、承認済みツールの一覧だけではない。組織のなかを走る判断の経路だ。どの業務で、どの判断を、どこまでAIへ任せ、誰がその結果を引き受けるのか。ここが見えなければ、ツールを数えてもリスクの表面をなぞるだけになる。
後半では、AIに任せる判断と人間が引き受ける判断をどう分けるのか、なぜ人間を介在させるだけでは不十分なのかを考える。さらに、その境界を権限、停止条件、例外処理、ログとして実装する方法を示す。冒頭の採用事例にも戻り、「誰が何を決めたと記録すべきか」に具体的に答える。
この不足を埋めるのが、Decision Design™︎である。Decision Designは、判断という行為そのものを設計対象とする思想だ。その中心にあるのが、Decision Boundary™︎という概念である。誰が決めるのか。どこまでを任せ、どこからを引き受けるのか。その線を無自覚のまま放置せず、意図的に設計すること。それがDecision Designである。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。