──Human-in-the-Loopは、思っているほど成立していない
法律事務所の知人と話していて、少し奇妙な感覚になったことがある。
彼の事務所では、契約書レビューにAIを使い始めている。Harveyのような専用ツールを入れている事務所もあれば、汎用の生成AIを自前で業務に組み込んでいる事務所もある。やっていることはどこも似ていて、要は「日常業務の流れにAIを組み込む」という発想で進んでいる。レビュー、リサーチ、ドラフト、メモ、依頼者向けの説明文。今までアソシエイトが何時間もかけていた工程に、まずAIを通す。出てきたものを弁護士が確認する。それで仕事が回る、ように見える。
ここまでは、誰が聞いても違和感のない話だ。
ただ、彼が最後にぽつりと言った一言が、しばらく頭から離れなかった。
「結局、最近は『確認ボタンを押しただけ』みたいな感覚になることがあるんだよね」
おそらくこの感覚は、彼の事務所だけのものではない。
「全部レビューする」という建前の、静かな破綻
AIレビューの議論は、たいてい同じところに着地する。
「最終的には人間が全部チェックすればいい」
この一文で安心したい気持ちはよくわかる。だが現場の話を聞くと、ここがすでに少し怪しい。
AIが出してくる契約書のレビュー結果は、たいてい網羅的だ。網羅的すぎる、と言ったほうがいいかもしれない。重要条項のリスク、自社スタンダードとの差分、過去判例との照合、想定される反論。色分けされて、整理されて、フラグが立って、コメントが付く。出力された瞬間、それは「完成された成果物」のような佇まいをしている。
そこに「全部レビューする」という従来の論理を当てはめると、何が起きるか。
ひとつの案件あたりのAI出力量は、人間アソシエイトのアウトプットより、しばしば多い。それを全部、本当に同じ粒度で読み込むなら、AI導入前より時間がかかる場面すらある。実際にはそうしない。読むところを絞る。重要そうなフラグだけを追う。サマリだけを見る。違和感がなければ通す。
これは怠慢ではない。物理的に、そうせざるを得ない。
ただ、「全部確認している」という建前は維持される。タイムシートにも、社内手続にも、対外的な説明にも、その建前は残る。建前と実態の間に、薄い膜のようなズレが生まれる。最初は気にならない程度の膜だが、案件を重ねるごとに少しずつ厚くなっていく。
「確認ボタンを押す」という儀式
Human-in-the-Loop、人間を介在させる、というのは、ガバナンス文脈で必ず出てくる言葉だ。
政府は、自律的に動くAIエージェントに対して、誤作動やプライバシー侵害のリスクを念頭に「人間の判断を必須とする仕組み」づくりを開発企業などに求めている。総務省・経済産業省「AI事業者ガイドライン（第1.2版）」でも、Human-in-the-Loopや継続的監視、ログ管理の必要性が明確に示されている。
これ自体は、まっとうな方針だ。むしろ遅すぎたくらいかもしれない。
ただ、「人間を介在させる」という条文と、現場で実際に起きていることの距離は、誰もまだうまく言語化できていない。
Human-in-the-Loopが想定しているのは、たぶんこういう絵だ。AIが結果を出す。人間がそれを吟味する。納得すれば承認し、おかしければ差し戻すか、修正する。判断は人間の側にある。AIは下働きをする。
ところが、AIの出力が高品質になればなるほど、人間側の「吟味」は、形だけのものに近づいていく。読み始めて違和感がなければ、そのまま承認する。違和感が出ても、その違和感が自分の誤読なのか、AIの誤りなのか、自信を持てない場面が増える。最終的には、「たぶん大丈夫だろう」というレベルで承認することになる。
これは、判断しているのか。確認しているのか。承認の手続きを踏んでいるだけなのか。
外形的には、すべて「人間の判断」として記録される。確認ボタンは押されている。ログは残っている。Human-in-the-Loopは、ガイドライン上、成立している。
しかし、押した本人が「確認ボタンを押しただけ」と感じている瞬間、その判断は、本当に判断と呼べるのだろうか。
若手が「違和感」を学べなくなる構造
もうひとつ、現場でうっすらと進んでいる変化がある。
法律家、特に弁護士の力量は、長らく「違和感を持てるか」によって測られてきた節がある。契約書を読んでいて、なんとなく気になる条項がある。判例を読んでいて、ロジックの飛躍を感じる。依頼者の話を聞いていて、説明されていない事実の輪郭を察知する。
この「違和感」は、教科書では教えられない。膨大な量の文書を読み、何度も先輩に直され、何度も自分の見落としに気づかされ、ある日ようやく身についてくる。地味で、報われにくく、しかし決定的に重要な下積みだ。
AIが入ってくると、この下積みの形が変わる。
レビューの第一稿はAIが出す。フラグもAIが立てる。論点もAIが整理する。若手がやるのは、AIの出力を確認する作業になる。AIがすでに「ここが論点だ」と提示している中で、自分なりの違和感を育てるのは、思っているより難しい。提示されているものを否定するには、提示されているもの以上の根拠が必要になるからだ。
ベテランはまだいい。彼らは、AIがない時代の「違和感の蓄積」を持っている。AI出力を見ても、「いやこの条項、この文脈だと違うはずだ」と引っかかれる。
問題は、その蓄積を持たない世代がこれから育っていくとき、何が起きるかだ。
AIに「フラグが立っていない」ことに違和感を持てる人間は、どうやって育つのか。AIが整理した論点の「外」にある論点を、どうやって発見できるようになるのか。
下積みの工程そのものを、AIが先に通り抜けてしまっている。
責任は、誰のところに残るのか
ここまでくると、当然の問いが浮かぶ。
ミスがあったとき、誰の責任なのか。
形式的な答えは決まっている。最終的に署名するのは弁護士であり、責任は弁護士が負う。AIはツールであって、責任主体ではない。これは法的にも倫理的にもブレない。
ただ、実態としての責任意識は、もう少し複雑な動き方をする。
人間がゼロから書いた文書のミスと、AIが書いて人間が確認した文書のミスでは、本人の中での「これは自分の責任である」という感覚が、おそらく同じではない。後者の場合、頭のどこかに「AIが見落としたものを、自分も見落とした」という意識が混じる。責任は法的には自分にあるが、感情的には半分くらいAIに預けたつもりになっている。
責任を引き受けるという行為は、本来、判断と一体になっている。自分が判断した、だから自分が責任を負う。この一体感が、判断プロセスにAIが入ることで、わずかにほどける。
ほどけた責任は、どこに行くのか。
AIベンダーに行くわけではない。AIベンダーは、出力の正確性を保証していない。利用規約にそう書いてある。ガイドラインの整備をした行政に行くわけでもない。最終的な業務判断は事業者の責任である、と明記されている。
責任は、宙に浮く。
誰かのところには「ある」のだが、誰のところにも「重くは乗っていない」という、奇妙な状態が生まれる。
まだ名前のついていない違和感
ここまで書いてきたことは、AI導入を批判したいわけではない。
法律事務所のAI活用は、おそらく後戻りできない流れだ。生産性のメリットは明確で、依頼者側も期待し始めている。導入しない選択肢は、実質的にはもう存在しない。
だから問題は、「AIを使うかどうか」ではない。
問題は、AIを使った後に残る、この奇妙な手触りのほうにある。
確認ボタンを押しているのに、自分が判断した気がしない。レビューはしているのに、見ているのは本当に重要なところなのか分からない。若手は仕事を覚えているようで、覚えていない種類のものを覚えている。責任は自分にあるはずなのに、感覚としては半分どこかに溶けている。
これは、AI活用論では説明できない。
ガバナンスの文書では拾いきれない。
DXの方法論でも、自動化の議論でも、AI倫理の枠組みでも、うまく言葉にならない。
それでも、現場の人間は、何かが変わっていることを知っている。
ただ、まだその違和感に、名前がついていない。
ここから先は、この「まだ名前のついていない違和感」に、構造を与える話になる。
確認ボタンを押すだけになっていく現象を、儀式化された Human-in-the-Loop として捉え直す。若手が違和感を学べなくなる構造を、判断の下積みの消失として記述する。責任が宙に浮く感覚を、判断主体の空洞化として位置づける。
そのうえで、これらを束ねる思想として、ひとつの設計概念を提示したい。
Governance では足りない。
DX では足りない。
Automation では足りない。
AI ethics でも足りない。
そのどれもがカバーできていない領域に、いま静かに穴が開きつつある。穴に気づかないまま運用を続けると、数年後、誰も自分の判断として説明できない判断が、組織のあちこちに積み上がっていることになる。
問題は、まだ始まったばかりだ。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。