DX MAGAZINEに掲載された「AIエージェントを企業はどう管理するのか AIガバナンスが新たな経営課題へ」という記事を読みながら、しばらく考え込んでいた。
書かれていることは、いま多くの企業で起きていることそのものだ。Copilot Studioのような環境が整い、ノーコードでAIエージェントを組み立てられるようになり、現場が自分たちの判断で業務へ組み込み始める。情シスもデータ部門も気づいたときには、社内に何十、何百という小さなエージェントが動いている。誰がいつ作ったのかも判然としない。いわゆるシャドーAIだ。
この“乱立”をどう抑えるか。記事のトーンは、その一点に絞られている。可視化し、棚卸しし、ポリシーを敷き、責任者を置く。要するに、AIをITガバナンスの延長線上で“管理”しようという話だ。
正論ではある。正論なのだが、読み終えたあと、何か釈然としない感覚が残った。
「管理」という言葉に、ひっかかる
AIエージェントを管理する、という表現は、もう日常語になりつつある。資産管理、システム管理、リスク管理。同じ語彙の延長で、AIにも“管理”が当てはめられている。
ただ、ここで一度立ち止まってみたい。
ITシステムを管理するというときの“管理”と、AIエージェントを管理するというときの“管理”は、同じ意味なのだろうか。
サーバーやアプリケーションは、命令されたことをそのまま実行する。だから管理対象として明快だ。バージョン、稼働状況、アクセス権限。いずれも静的な属性として捉えられる。
ところがAIエージェントは、命令されたことをそのまま実行するわけではない。文脈を読み、選択肢を絞り、ときに“判断”に近いことをしてしまう。承認のメールを下書きする。問い合わせに一次回答する。稟議に必要な情報を要約し、抜粋し、強調する。
このとき、エージェントは単なる実行装置ではない。判断のごく手前、あるいは判断そのものの一部を、すでに担っている。
それを“管理”と呼んでしまっていいのだろうか。
シャドーAIの本当の問題
シャドーAIが議論されるとき、論点はほとんどの場合「セキュリティ」と「ガバナンス」に集約される。許可されていないツールが社内で使われている、機密情報が外部に流れる、監査に応えられない。たしかにこれは重大だ。
しかし、もう一段下に降りてみると、別の問題が見えてくる。
ある営業担当者が、自分でCopilot Studioを使って見積もりレビューのエージェントを組んだとする。彼女はそのエージェントの出力を信頼し、ほぼそのまま顧客に提示する。値引き条件もエージェントが判断した。あとから問題が起きたとき、誰が“決めた”ことになるのか。
担当者は「AIが出した案でした」と言う。情シスは「あれは申請されていないツールです」と言う。マネージャーは「現場の判断に任せている」と言う。
誰も嘘をついていない。しかし、判断主体が見当たらない。
ここで起きているのは、ツールの統制が崩れているという話ではない。判断の所在が、組織の中で気づかぬうちに消えているという話だ。
AIを管理する、という議論は、この消えた所在をどう取り戻すかには、ほとんど触れていない。
政府の「人間の判断を必須とする仕組み」
最近、政府の方針が一段進んだ。自律的に動くAIエージェントに対して、誤作動やプライバシー侵害のリスクを念頭に「人間の判断を必須とする仕組み」を開発企業などに求めている、という方向性だ。総務省・経済産業省のAI事業者ガイドライン1.2版にも、その思想は織り込まれている。
これは、いわゆるHuman-in-the-Loop（HITL）の発想を、政策レベルで明文化したものに近い。
意義はある。AIに完全自律で物事を決めさせない、という線を引くこと自体は、現時点ではほぼ唯一の現実解だろう。
ただ、現場でHITLを実装してきた立場から正直に言うと、「人間を最後に置けばよい」だけでは、責任構造はかえって空洞化していく。
なぜか。
最後に人間がいる、ということは、最後に確認ボタンを押す人がいる、ということだ。そして実務において、その人は、エージェントの出力を一件ずつ精査する時間を持っていない。十件、百件、千件と流れてくる承認依頼を、ほぼ目視のスピードで処理する。
「AIが推奨」「ヒトが承認」というラベルだけが残る。中身としての判断は、もうどこにも存在していない。
責任を取れる構造に見えて、責任を引き受ける人がいない構造になっている。これがHITLの、あまり語られない裏面だ。
“足りなさ”の正体
AIガバナンスは大事だ。DXも止められない。Automationの効率も無視できない。AI ethicsの議論も、進めなければならない。
それぞれの領域には、それぞれの語彙と方法論がある。リスク評価、データガバナンス、説明可能性、バイアス検証、ワークフロー最適化。どれも必要で、どれも欠かせない。
ただ、これらをいくら積み上げても、先ほどの「判断主体が消える問題」は解けない。
ガバナンスは、ルールと統制の枠組みだ。判断の中身そのものを設計対象にはしていない。DXはプロセスの再構築だが、誰が何を引き受けるかという責任の線引きは扱わない。Automationは作業を効率化するが、判断を効率化しようとした瞬間に、責任の所在が薄まる。AI ethicsは原則を語るが、組織の中で具体的にどう線を引くかは、各社の運用に委ねられている。
つまり、いずれも“横にいる”概念であって、判断という行為そのものを正面から設計対象にしているものは、ほとんどない。
ここに、いま欠けているピースがある気がしている。
AIエージェントが組織に入り込むほど、判断は人間とAIの間に分散していく。その分散を、暗黙のまま放置するか、意図して設計するか。違いはそこにある。
そして、いまほとんどの企業は、前者の状態にある。
静かな予告
ここまで書いてきて、改めて思う。
AIエージェントの乱立は、表に出ている症状にすぎない。その下では、もっと静かな、しかし根深い変化が進んでいる。
それは、組織の中で「誰が決めたのか」が、輪郭を失っていく変化だ。
会議は開かれている。承認は押されている。記録も残っている。だが、後から振り返って、ある判断の真の主体を一人の名前として指し示せるかというと、できないことが増えてきた。AIが介在しているからではなく、判断という行為そのものが、複数の手と複数のシステムの間に滲んでしまっているからだ。
AIガバナンスというラベルでは、この滲みはすくいきれない。
必要なのは、もう一段下のレイヤーへの介入だ。判断という行為そのものを、設計対象として捉え直す視点。誰が、どこまでを、どの責任で引き受けるのか――それを偶然や慣習に任せず、意図して描き出す思想。
その思想を、私たちはひとつの名前で呼んでいる。
Decision Designへ
それが Decision Design（判断の設計） である。
Decision Designは、判断という行為そのものを設計対象とする思想だ。
その中心にあるのが Decision Boundary（判断の境界） という概念である。
誰が決めるのか。
どこまでを任せ、どこからを引き受けるのか。
その線を、無自覚のまま放置せず、意図的に設計すること。
それがDecision Designである。
ここから先は、この概念をもう少し具体的に、組織と実装のレベルで掘り下げていきたい。AIエージェント承認フロー、行政の審査構造、社内ワークフロー。どこに線を引くべきか、どこに線を引いてはいけないか。その実例を、有料パートで扱う。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。