AI安全評価――停止ボタンは誰が押すのか

AI安全性評価はリスクを明らかにしても、組織内の停止権限までは決めない。AIエージェントを実効的に制御するには、停止、エスカレーション、再開、例外処理、説明責任を担う主体と判断条件を設計する必要がある。

午前2時17分。顧客対応を担うAIエージェントが、通常とは違う速度で処理を始めた。

このエージェントは問い合わせを分類し、顧客データを参照して返信案をつくる。一定の条件を満たせば、返信の送信とCRMの更新まで自動で進める設定だ。その夜、監視画面には短時間で増え続ける処理件数と、赤い「停止」ボタンが表示されていた。

当直担当者は異常に気づいた。しかし、ボタンを押してよい基準を知らない。停止によって重要顧客への対応が遅れた場合、誰が責任を引き受けるのかも決まっていない。業務責任者を起こすべきか、情報システム部門へ連絡すべきか、個人情報を扱うため法務を呼ぶべきか。その順番もない。

ボタンはある。押す人もいる。それでも、AIは止められない。

この場面が示す問いは単純だ。AIを評価する枠組みがあっても、現場で「誰が、どの時点で、何を根拠に止めるのか」が決まっていなければ、組織は本当にAIを制御できるのか。

先に答えを示せば、AI安全性の本質はモデル評価だけではない。評価結果を、承認、停止、例外処理という具体的な判断へ接続する設計にある。

欧州が評価しようとしているのは「抽象的な安全」ではない

AxiosのMaria Curi記者は、2026年7月31日の記事「Inside Europe's lessons on AI safety as U.S. rules loom」で、EUと英国が積み上げてきたAI安全性評価の経験を紹介している。

記事が伝える欧州側の教訓は、「安全なAIをつくる」という標語ではない。生物兵器への悪用や政府データベースへの侵入といった具体的な脅威シナリオを置き、AIが悪意ある主体の能力をどれだけ増幅するかを測る。評価を特定のシナリオと結びつけ、企業自身の自己評価だけに頼らず、複数の検証を重ねる。リスクの閾値を科学的知見と接続し、評価方法を更新し続ける。

ここで重要なのは、Axiosの記事中の説明と、EUの制度そのものを混同しないことだ。

EUのAI Act（Regulation (EU) 2024/1689）は、システミックリスクを持つ汎用AIモデルの提供者に対し、モデル評価、敵対的テスト、システミックリスクの継続的な評価と軽減、重大インシデントの記録・報告、サイバーセキュリティ確保などを求めている。これは法的義務である。

一方、欧州委員会の「General-Purpose AI Code of Practice」は、提供者がAI Act上の義務へ対応するための任意の手段だ。Safety and Security章は、先端モデルのシステミックリスクを管理する具体的な実務を示すが、コードへの署名そのものが一律に強制されているわけではない。署名しない提供者は、別の適切な方法によって遵守を示す必要がある。

さらに欧州委員会は、AI Act第68条に基づく「AI Act Scientific Panel」を設置した。60人の独立専門家が、汎用AIモデルの能力評価、リスク評価手法、サイバー攻撃への悪用、システミックリスクなどについて、AI Officeと各国当局を支援する。企業の内部評価だけで制度を閉じないための仕組みである。

法律、任意の実務コード、独立した科学的助言。この3つは同じものではない。だが、いずれも評価を実際の監督や是正へ接続しようとしている点では共通している。

米国の枠組みは完成した。しかし公開されていない

米国では、2026年6月2日に大統領令14409「Promoting Advanced Artificial Intelligence Innovation and Security」が署名された。

大統領令は、関係機関に対し60日以内に、AIモデルの高度なサイバー能力を評価する機密ベンチマークと、対象となる「covered frontier model」の閾値を整備するよう指示した。さらに、AI開発企業が政府と協力し、対象モデルを一般提供前の最大30日間、機密保持や知的財産保護などの条件下で政府へ提供できる自主的な枠組みを設計するよう求めた。

ただし、この仕組みは政府による強制的なライセンス、事前承認、許可制度を設けるものではない。ホワイトハウス自身も同日のファクトシートで、民間との自主的な協力であることを強調している。

その後、ホワイトハウスは枠組みを8月1日の期限までに完成させたと説明した。しかし、全文や詳細は一般公開されていない。Axiosは8月3日の「White House finalizes AI framework behind closed doors」で、内容、閲覧者、運用開始時期が明らかにされていないと報じた。翌日の後続報道では、一部企業への説明が行われた一方、政府が一般公開を予定していないことも伝えている。

したがって、「8月1日に米国の自主的AI枠組みが公表された」と書くのは正確ではない。完成したと政府が説明していることと、社会が検証できる形で公開されたことは別である。

ここには、AI安全性を考えるうえで重要な緊張がある。モデルの弱点や攻撃能力を詳しく公開すれば、新たな悪用を招く可能性がある。だから一定の機密性は必要になる。しかし、判断基準が見えなければ、対象企業以外は政府が何をリスクとみなし、誰が評価し、どの結果を受けて何を決めるのかを検証できない。

評価の精度だけではなく、評価から判断へ至る経路が問われている。

日本のAIエージェントにも同じ問題がある

この論点は、フロンティアモデルを開発する米欧の企業だけの話ではない。日本企業が導入を進めるAIエージェントにも、そのまま当てはまる。

経済産業省が2026年3月31日に取りまとめた「AI事業者ガイドライン（第1.2版）」は、AIエージェントを、特定の目標を達成するために環境を感知し、自律的に行動するAIシステムと定義している。第1.2版は、誤作動、AIへの過度な依存、プライバシー侵害などを含むリスクに応じ、開発者、提供者、利用者が適切な対策を検討する方向を示している。

ただし、このガイドラインを「あらゆるAIエージェントに人間の判断を義務づけた法律」と読むべきではない。

本編は、公平性への配慮として、AIに単独で判断させるだけでなく、適切なタイミングで人間の判断を介在させる利用を検討するとしている。また、別添は、社会に重大な影響を与える手続では、最終判断を人間が行うことを有用な方法として示している。いずれも、用途とリスクを踏まえた取組を促すガイドラインであり、一律の人間承認を命じるものではない。

そもそも、人間を1人置けば問題が解決するわけではない。人間はAIの出力を過信する自動化バイアスに陥る。情報も権限もない担当者に承認ボタンを押させれば、責任の所在を曖昧にしたまま、作業だけを増やすことになる。

冒頭の当直担当者も、人間として画面の前にいた。それでも止められなかった。欠けていたのは人間ではなく、人間が判断を引き受ける条件と権限だった。

Governanceだけでも、Automationだけでも埋まらない

組織はすでに多くの仕組みを持っている。Governanceは、AIをどのルールで監督し、誰が説明責任を負うかを定める。DXは、業務と顧客価値をどう変えるかを構想する。Automationは、どの処理を機械へ移すかを決める。AI Ethicsは、公平性、透明性、プライバシー、人間の尊厳といった守るべき価値を示す。

どれも必要だ。しかし、それぞれを整備しただけでは、深夜2時17分の停止ボタンを誰が押すかは決まらない。

Governanceで利用規程をつくっても、個別業務の停止条件がなければ現場は動けない。DXで顧客対応を再設計しても、判断権限がどこへ移ったかを定義しなければ、速くなった業務の中で責任だけが取り残される。Automationで返信メールの送信まで自動化しても、どの処理を自動化できるかと、どの判断を委ねてよいかは同じではない。AI Ethicsで原則を掲げても、例外発生時のエスカレーション経路までは自動的に決まらない。

組織に不足しているのは、AIの検知、提案、実行、停止、承認を、「誰が何を決めるか」という1つの構造で結び直す設計である。

ここから先では、この欠けた設計を、判断対象、AIと人間の役割、停止条件、例外時のエスカレーション、記録と見直しという順序で実務へ落とし込む。そして冒頭の停止ボタンを、「誰かが念のため押すボタン」から、組織が責任を持って作動させる判断境界へ変える方法を示す。

この不足を埋めるDecision Design™︎は、判断という行為そのものを設計対象とする思想だ。その中心にあるのが、Decision Boundary™︎という概念である。誰が決めるのか。どこまでを任せ、どこからを引き受けるのか。その線を無自覚のまま放置せず、意図的に設計すること。それがDecision Designである。

Decision Designは、何を設計するのか

Decision Designは、判断という行為そのものを設計対象とする。

設計するのはAIの使用方法だけではない。判断対象、影響を受ける人、AIへ委ねる範囲、人間が引き受ける範囲、利用データ、判断基準、承認・停止条件、例外処理、エスカレーション、記録、説明責任、見直しを一つの構造として扱う。

顧客対応なら、問い合わせの分類、情報の選択、返信案の作成、送信、CRM更新、返金の提案は別々の判断だ。誤った場合の影響と回復可能性も違う。「顧客対応を自動化する」と一括りにせず、業務を判断単位へ分け、それぞれの主体と境界を決める。

Decision Designは、何ではないのか

Decision Designは、AI利用規程の別名でも、チェックリストでもない。規程が全社共通の禁止事項を定めても、現場の停止条件と権限までは決まらない。チェックリストは確認漏れを減らすが、想定外の事態で誰が判断を引き受けるかを決めてはくれない。

すべての判断を人間へ戻す思想でも、AIを信用しないための概念でもない。低リスクで反復性が高く、誤りを取り消せる判断はAIへ委ねられる。一方、権利、契約、資金、信用、安全に大きく影響し、回復が難しい判断は人間または組織が引き受ける。目的は人間の関与を最大化することではなく、AIの自律性と組織の責任能力が噛み合う場所に境界を置くことだ。

Decision Designは、どの問題に対する概念なのか

Decision Designは、AIによって判断能力が拡張・代替・分散される一方、判断主体と責任の所在が曖昧になる問題に対する概念である。

AIエージェントは、情報収集、分類、行動選択、外部サービスの操作まで行う。ところが組織図と職務権限は、人間だけが判断する前提のまま残りやすい。形式上は人間が承認していても、情報も時間もなければ実質的な判断主体はAIである。Decision Designは、名目上の責任者を置くのではなく、実際に判断できる主体へ情報、時間、権限、停止手段を配分し直す。

Decision Boundaryは責任の「線」を実装する

Decision Boundaryは、AIに委ねる判断と、人間または組織が引き受ける判断の境界である。

境界は「AIか人間か」を一度だけ選ぶ線ではない。通常時と異常時、低影響と高影響、可逆的な処理と取り消せない処理で位置が変わる。

冒頭のAIエージェントなら、まず分類、情報選択、返信生成、送信、CRM更新、返金判断に分ける。誤送信はプライバシーと信用に、誤ったCRM更新は後続担当者に、返金判断は顧客の権利と会社の財務に影響する。影響が違えば、許される自律性も変わる。

AIと人間の役割を、行動単位で分ける

AIには分類、情報検索、返信案作成、承認済みテンプレートによる低リスク返信を委ねる。人間はセンシティブ情報、契約変更、返金、苦情、法的主張、安全に関する案件を引き受ける。

「人間」ではなく職務を指定する。一次判断は当直責任者、顧客対応の最終判断はカスタマーサポート部長、漏えいの疑いはプライバシー責任者、外部侵入の兆候はセキュリティ責任者が担う。当直担当者には一定条件で一時停止する権限を与える。再開や顧客通知は上位責任者が引き受ける。この分離によって、担当者は「止めた責任」を一人で背負わずに済む。

データ、実行条件、停止条件を先に決める

参照データも境界の一部だ。氏名、連絡先、契約履歴が必要でも、決済情報や社内メモまで常時参照させる必要はない。用途と権限を限定し、外部ツールへ渡せる項目も定める。

自動送信は、本人確認済みの顧客への、承認済みテンプレートの範囲で、契約や金銭に影響せず訂正可能な返信に限る。停止条件には、通常帯を超える送信件数、同一文面の連続送信、権限外データへのアクセス、センシティブ情報の検出、認証エラー、差し戻し率の急上昇など、観測可能な状態を使う。

条件を満たせば、外部送信とCRM更新を自動停止する。情報検索と返信案作成は隔離環境で続けてもよい。これが停止を担当者の勇気に依存させない方法である。

例外時のエスカレーションを一本の経路にする

異常時に関係部署へ一斉連絡するだけでは判断は進まない。まずAIまたは当直担当者が外部実行を止め、処理件数、対象顧客、使用データ、直前の変更をまとめる。当直責任者が停止範囲を判断し、個人情報ならプライバシー責任者、侵入の兆候ならセキュリティ責任者、補償なら顧客対応部長と法務へ渡す。

情報不足もエスカレーション条件にする。上位判断者が所定時間内に応答しない場合、停止を維持するか限定運転に移るかも決めておく。エスカレーションとは責任を投げることではなく、判断能力と権限を持つ主体へ必要な情報とともに渡すことだ。

記録はAIの説明ではなく、組織の判断を残す

入力と出力だけでなく、参照データ、適用ルール、実行内容、人間の承認・却下、停止・再開の理由を残す。必要なのは、その時点で誰がどの情報を持ち、どの権限で何を決めたかを追える記録である。

重大事故、誤検知率や差し戻し率の上昇、モデル更新、参照データや連携先の追加、業務方針や法令の変更を、境界見直しの契機にする。Decision Boundaryは固定した禁止線ではなく、根拠を持って更新する運用対象だ。

4つの仕組みを、判断で接続する

Governanceは監督ルールを整えるが、個別業務の判断権限までは決めない。DXは業務と顧客価値を変えるが、移動した判断権限を自動的には可視化しない。Automationは処理を実行するが、実行可能であることと委任してよいことは同義ではない。AI Ethicsは守る価値を示すが、価値が衝突したときの例外判断者までは決めない。

Decision Designはこれらを置き換えない。Governanceのルール、DXの業務変革、Automationの実行、AI Ethicsの価値を、「誰が何を決めるか」という共通の対象で接続する。

停止ボタンを押せる組織へ

午前2時17分の画面へ戻ろう。

送信件数が通常帯を超え、外部送信とCRM更新が自動停止する。検索と返信案作成は隔離環境で続く。画面には停止条件、対象件数、参照データ、直前の変更が表示される。

当直担当者は明文化された権限で停止を維持する。当直責任者が影響範囲を確認し、センシティブ情報へのアクセスがあるためプライバシー責任者へ送る。再開はカスタマーサポート部長とプライバシー責任者が決め、根拠を記録する。

主役はボタンではない。押す条件、暫定停止の権限、次の判断者、必要情報、再開条件が設計されていることだ。AIを制御するとは、すべてを人間が決めることではない。AIへ委ねる判断と組織が引き受ける判断の境界を、実行可能な形で設計することである。

評価枠組みは、AIが何をでき、どんなリスクを持つかを教える。その結果を受けて誰が何を決めるかは、組織自身が設計しなければならない。AI時代に必要なのは停止ボタンを増やすことではない。必要なときに、そのボタンを押せる組織をつくることだ。