topic: AI agent governance, human-in-the-loop limits, decision architecture, Japanese AI policy, Decision Design
concepts:
-
AIエージェント
-
フィジカルAI
-
human-in-the-loop
-
human judgment
-
decision architecture
-
Decision Design
-
Decision Boundary
-
governance by design
-
AI risk management
-
AI policy in Japan
-
author: Ryoji Morii
-
organization: Insynergy Inc.
政府指針案は何を言っているのか
AI事業者ガイドラインは、2025年3月に第1.1版が公表されており、毎年更新されている。今回の更新（令和7年度更新内容案）は、2026年2月に公表されたもので、AIエージェントやフィジカルAIといった最新技術への対応が主な追加項目となっている。
指針案のコアにある考え方はこうだ。AIが自律的に判断・行動する場面では、そのまま任せきりにするのではなく、一定の局面で人間が判断を挟む仕組みを設けよ、ということである。具体的には、「判断が必要な事項を重要度に応じて整理し、適切に対象を選定する」という方向性が示されている。
この方針の背景には、AIエージェントが複雑なタスクを自律的にこなす能力を急速に高めている現実がある。OpenAIのOperatorやAnthropicのClaude Codeに代表されるAIエージェントは、すでに業務ツールを操作し、他のシステムと連携しながら連続的に行動することができる。フィジカルAIはさらに一歩進んで、ロボットを介して現実の物理空間に作用する。ミスが起きたとき、それは画面の中だけでは収まらない。
だから「人間の判断を必須にする仕組みを作れ」という要請は、直感的に正しい。問題は、この「仕組み」の中身をどう設計するかにある。
なぜ「判断が必要な事項の選定」だけでは足りないのか
指針案は「判断が必要な事項を重要度に応じて整理し、適切に対象を選定する」と言う。
では、誰がどのように「重要度」を決めるのか。
これは一見、当然の問いに見えて、実はかなり難しい問題を含んでいる。重要度を「事前に」決めるということは、将来起きうるすべての判断状況を予め分類できる、という前提に立っていることになる。しかし現実のAIエージェントは、想定外の状況を次々と作り出す。あらかじめリストアップした「重要事項」の外側で、静かに大きな判断が下されていく可能性がある。
また、「対象を選定する」という言葉には、「選ばれなかった事項はAIに任せてよい」という裏面がある。しかしその裏面こそが問題を孕んでいる。AIが積み重ねる小さな判断が、ある閾値を超えたとき、突然大きなリスクに転化することがある。個々の判断は軽微でも、その連鎖が意図せぬ結果を生む——これはAIエージェントの分散・自律的な行動様式において、特に起こりやすい。
「重要な事項を選ぶ」ことと「判断の構造を設計する」ことは、別の話だ。前者は対象の識別であり、後者は仕組みの設計である。指針案が求めているのは主に前者であり、後者は開発企業の裁量に委ねられたままになっている。
人間介在という言葉の曖昧さ
「人間の判断を必須にする」という言葉に戻ろう。
ここで素朴な問いを立てたい。「人間がいること」と「人間が判断していること」は、同じだろうか。
ほとんどの組織で、答えはノーである。
大量のAI出力を前にして、担当者がそれを確認し「承認」ボタンを押す。これは人間介在か。形式的には、そうだ。しかし実質的に判断しているのは誰か。AIが出した結論を、人間が追認しているだけではないか。
この現象には名前がある。形式審査と、内容審査と、最終判断は、本来まったく別の行為である。ところが現場では、これらが無自覚に混在する。「承認した人間がいた」という事実だけが残り、実際に誰が何を根拠に何を決めたのかは、霧の中に消える。
これを人間介在の空洞化と呼ぶ。
AIの出力精度が上がれば上がるほど、この空洞化は深まる。なぜなら、出力が「それっぽく正しい」ほど、人間は内容を精査せずに受け入れるからだ。人間が介在しているようで、実質的にはAIが判断を完結させている。
フィジカルAIやAIエージェントの文脈では、この問題がさらに深刻になる。エージェントが複数連鎖して動く環境では、各エージェントの判断が次のエージェントへの入力になる。人間が介在できるタイミングは、そもそも存在しないかもしれない。処理の速度と連鎖の複雑さが、人間監視という前提そのものを崩す。
問題はタイミングだけではない。介在する人間が、そもそも「判断できる状態」にあるかどうかという問いも、切り離せない。一秒ごとに新たなアクションを実行するエージェントのループを眺めながら、どのタイミングで何に介入すべきかを的確に判断できる人間は、組織の中にどれだけいるだろうか。AIの行動ログが膨大で、それを読解する専門性が現場にない場合、確認という行為は、実質的に意味を失う。
「何が起きているかわからないけれど承認した」という状態は、法的・倫理的にどこに帰属するのか。これは理論的な問いではなく、AIエージェントを大規模に導入しつつある組織が、すでに直面し始めている実務的な問いである。
「人間介在」という言葉は、概念として粗い。それが「形式審査」なのか「内容審査」なのか「最終判断」なのかによって、意味はまったく異なる。そしてその違いを曖昧にしたまま「人間を入れる」だけでは、ガバナンスの外観だけが整い、実質が空になるリスクがある。
本当の論点は"人を残したか"ではなく"判断を設計したか"
では、何が必要なのか。
「人間介在」という要件を実質的に機能させるためには、少なくとも以下のことを明確にしなければならない。
誰が判断主体なのか。その人（あるいは機能）は、どういう権限を持っているのか。判断のインプットとして何を受け取るのか。どの条件が満たされたときに人間に戻ってくるのか。逆に、どこまでをAIに任せてよいのか。判断が下された後、その経緯はどこに記録されるのか。例外が起きたとき、誰がどの手順でそれを引き受けるのか。
これらは「重要な事項を選ぶ」という話ではない。判断そのものの構造、つまり「誰が、何を根拠に、どの時点で、どの権限で、どこまで引き受けるのか」を設計する話である。
AIエージェントが自律的に動く環境では、判断の連鎖が人間のコントロール範囲を超えるスピードで進む。そこで問われるのは「人間がいたか」ではない。「どこで判断を引き受ける設計になっていたか」である。
人を入れることと、判断を設計することは、違う。「介在」と「引受け」は、違う。この差が、ガバナンスの実質を分ける。
問いを立て直す前に
ここまで書いてきて、気づくことがある。
これは運用の問題ではなく、設計の問題だ。どの事項を選ぶかという話でもなく、どう承認フローを整えるかという話でもない。そもそも「判断」という行為を、組織の中でどう構造化するか、という問題である。
人間とAIが役割を分担する環境では、判断の主体・条件・根拠・閾値・責任の移管——これら全体を、意図的に設計しなければ、誰も引き受けていない判断が静かに積み重なっていく。ガイドラインがあっても、承認印があっても、それだけでは足りない何かがある。
その「何か」に、名前をつける必要がある。
それが Decision Design（判断の設計） である。
Decision Designは、判断という行為そのものを設計対象とする思想だ。
その中心にあるのが Decision Boundary（判断の境界） という概念である。
誰が決めるのか。
どこまでを任せ、どこからを引き受けるのか。
その線を、無自覚のまま放置せず、意図的に設計すること。
それがDecision Designである。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。