topic: AI governance
concepts:
-
AI agent governance
-
human oversight
-
responsibility allocation
-
Decision Design
-
Decision Boundary
author: Ryoji Morii
organization: Insynergy Inc.
AIエージェントが「決める側」に入り始めた
顧客からの問い合わせに自動で返答する。旅行の日程を調べて予約を入れる。審査基準に照らして申請を通す、あるいは弾く。
こうした作業を、人間の代わりにAIエージェントが担うサービスが現実のものになりつつある。まだ試験的な導入が多いとはいえ、AIはすでに「補助する道具」ではなく、「社会の中で判断に関与する存在」になり始めている。
問題はそこから始まる。
道具であれば、使う人間が責任を負うのは自明だ。しかしAIエージェントが自律的に動き、その行動が誰かに損害を与えたとき、責任の所在はどこに行くのか。AIを開発した会社か。導入した企業か。それとも最終的に承認を押した人間か。
この問いに対して、今の法体系はまだ答えを持っていない。
政府は動き始めているが
総務省と経済産業省は「AI事業者ガイドライン」の更新を進めており、月内にもAIエージェントに関する記述を初めて盛り込む予定だという（日本経済新聞、2026年3月9日「AIエージェントの損害、責任は誰がとる？ リスク恐れる日本企業」）。
背景にあるのは、AIが自律的に動く場面での誤作動やプライバシー侵害リスクの高まりだ。2025年12月に開かれた有識者会議において、理化学研究所・革新知能統合研究センターチームディレクターの中川裕志氏は「誤動作が発生した際の損害の問題は極めて重要な論点だ。誤った予約や購入により損害が発生する事態は今後、頻繁に生じると予想する」と発言している（同記事より）。
政府が打ち出そうとしている方向性のひとつが、「人間の判断を必須とする仕組み」の構築だ。重要な判断の場面に人間が介在することで、AIによる誤った行動をチェックできるという考え方である。
一方、経産省が今春取りまとめを予定するAI利用の民事責任に関する「手引」の案では、AIエージェントの責任について「個別技術やユースケースに強く依存するため、当事者の責任を個別具体的に整理するのは現時点で困難」と記載されている（同記事より）。
つまり政府は問題を認識しているが、事後的な責任の枠組みを整理するのに苦労しているのが現状だ。
しかし、本当の問題はそこではないかもしれない
責任の曖昧さを問題にするのは自然だ。損害が生じたとき、誰が補償し、誰が改善義務を負うのかを明確にすることには実務的な意味がある。
しかし、「責任を事後的に問える仕組みを作ること」と、「AI関与の下で適切な意思決定が行われること」は、まったく別の問題だ。
後者について、法律はほとんど何も教えてくれない。
AIが判断に絡むとき、実際に何が起きているかを少し考えてみたい。
「助言」に変わる瞬間
たとえば、融資審査を想定してほしい。
以前は担当者が資料を読み、質問をし、自分の判断で可否を決めていた。今はAIが信用スコアを算出し、「承認推奨」「要注意」「否決推奨」といったラベルを出す。担当者はその結果を見て、最終的な押印をする。
形式的には「人間が決めた」ことになっている。しかし実態はどうか。
AIが「承認推奨」と出たとき、担当者がそれをひっくり返すのは難しい。覆す場合には「なぜAIの判断に反したのか」を説明する責任が生じる。AIに同意するのは簡単で、反論するのはコストがかかる。気づかないうちに、「人間の判断」が「AIの承認行為」に変わっていく。
これは融資審査に限った話ではない。採用スクリーニング、医療診断の補助、リスク評価、インフラの異常検知。AIが「提案する側」に回り、人間が「確認する側」に変わるとき、どこかで判断の主体がすり替わっている。
責任の問題が起きるのは、損害が発生した「後」だ。しかし判断の主体のすり替わりは、その「前」にすでに起きている。
「誰が決めたのか」が分からなくなる
このような状況が続くと、組織の中で奇妙なことが起き始める。
「誰が決めたのか」という問いに、誰も正確に答えられなくなる。
AIが推奨し、人間が承認したなら、その責任はどちらに帰属するのか。AIの精度に問題があったのか、人間の確認が不十分だったのか、そもそも判断基準の設定が間違っていたのか。
事後的に問うとき、この曖昧さが壁になる。しかし問題の根は「責任の帰属が不明確なこと」ではなく、「判断の構造そのものが設計されていないこと」にある。
誰が、どの段階で、何を根拠に、どこまでを判断するのか。その構造を意図的に設計しなければ、AIの関与が増えるほど、判断の輪郭はぼやけていく。
政府が「人間の関与を必須とする仕組み」を求めるのは一定の方向性として正しい。しかし「人間を介在させる」だけでは不十分だ。人間がどの位置に置かれ、何を判断し、どこに責任を持つのかという「判断の構造」が設計されていなければ、人間の関与は形式的なものになる。
そしてその形式的な関与こそが、「責任の所在を曖昧にする最大の原因」になり得るのだ。
判断の設計という問題
問うべきは、こういうことだ。
AIが関与する意思決定のプロセスにおいて、「誰が何を決めるのか」という構造を、誰が設計しているか。
多くの場合、その設計は行われていない。AIのプロダクト設計はある。業務フローの設計はある。しかし「判断それ自体の設計」——何をどのレイヤーで、誰が責任を持って決めるかという設計——は、ほとんどの組織で空白のままだ。
この空白が、AIエージェントが社会に入り込むにつれて、事故の温床になる。
責任を問える仕組みを作ることは必要だ。しかしそれは対症療法に過ぎない。本当に必要なのは、判断が起きる「前」に、その構造を設計することではないか。
AIが判断に関与する社会が現実になるとしたら、本当に必要なのは「責任をどう問うか」の議論だろうか。
むしろ問われるべきは、「誰が決めるのか」という構造そのものかもしれない。
損害が起きてから責任を整理するのではなく、判断が設計されていない状態を、あらかじめ問題として捉えること。
その視点に立ったとき、AIガバナンスは別の姿をしているはずだ。
それが Decision Design（判断の設計） である。
Decision Designは、判断という行為そのものを設計対象とする思想だ。
その中心にあるのが Decision Boundary（判断の境界） という概念である。
誰が決めるのか。どこまでを任せ、どこからを引き受けるのか。その線を、無自覚のまま放置せず、意図的に設計することが必要になる。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。