教皇がAIを「人間の尊厳」の問題として語り始めたとき、本当は何が問われていたのか
ローマ教皇が、AIについて語っている。
これだけ書くと、また宗教界が新技術に戸惑っているという、よくある構図に聞こえるかもしれない。十九世紀に蒸気機関を警戒し、二十世紀に避妊や生命科学に難色を示してきた、あの慎重な巨大組織が、今度はAIに口を出し始めた、と。
だが今回の語り口は、少し違う。
レオ十四世は、自身の名を選ぶときにレオ十三世を意識したと語っている。レオ十三世は、産業革命のただ中で、労働者の尊厳をめぐる回勅『レールム・ノヴァールム』を出した教皇だ。機械が人間の仕事を飲み込み、人が「手」や「労働力」という部品に還元されていく時代に、それでも人間には譲れない尊厳がある、と書いた人物である。
そのレオの名を継いだ新教皇が、最初の主題のひとつにAIを選んだ。これは偶然ではない。彼が見ているのは、AIという技術そのものではない。AIによって、人間が再び「部品」に還元されていく構造のほうだ。
日本経済新聞が報じたところによれば、レオ十四世はAIを「人間の尊厳」の問題として位置づけた。倫理や安全性の話ではなく、尊厳の話として。ここに引っかかってほしい。なぜ「尊厳」なのか。便利さでも、危険性でも、雇用でもなく、なぜ尊厳という、いささか古めかしい言葉を持ち出したのか。
この問いは、記事の最後までしまっておく。
「人間が最後に判断する」という言葉の安心感
AIをめぐる議論には、いつもひとつの逃げ道が用意されている。
「最終的には人間が判断します」
この一文は、ほとんど呪文のように使われる。自動運転でも、医療AIでも、与信審査でも、行政の自動化でも、軍事システムでさえ、最後にはこのフレーズが置かれる。AIは支援するだけで、決めるのは人間だ、と。
聞くと安心する。だからこそ厄介だ。
軍事利用の議論を見るとわかりやすい。自律型の兵器システム、いわゆる「キラーロボット」をめぐる国際的な議論では、必ず「人間の意味ある関与（meaningful human control）」という概念が持ち出される。引き金を引くのは、最終的には人間でなければならない、と。
ところが、現実の運用を想像してみてほしい。数十、数百の標的候補がスクリーンに並び、AIが脅威度を点数化し、推奨を出してくる。オペレーターに与えられた時間は数秒だ。彼に許されているのは、表示された推奨を承認するか、しないか。
これは判断と呼べるだろうか。
形式の上では、確かに人間が決めている。引き金を引いたのは人間だ。責任もその人間にある。だが実質的には、判断の中身はとうにAI側に移っている。人間に残されているのは、最後にボタンを押す権利と、何かあったときに責任を引き受ける役割だけだ。
権利と責任だけが人間に残り、判断の実質はAIに移る。この非対称こそが、いま静かに広がっている。
確認ボタンを押すだけの人間
これは戦場だけの話ではない。
Human-in-the-Loop。直訳すれば「輪の中の人間」。AIの処理の流れのどこかに人間を組み込み、暴走を防ぐという設計思想だ。多くのAIガバナンス文書が、この概念を安全装置として掲げている。人間がループの中にいるのだから大丈夫だ、と。
だが、ループの中にいることと、判断していることは、まったく別の話だ。
銀行の与信審査を考えてみる。かつては融資担当者が、決算書を読み、経営者と面談し、業界の風向きを読んで、貸すか貸さないかを決めていた。いまはAIがスコアを出し、担当者はそれを「確認」する。承認率を上げろという圧力があり、AIに逆らった案件が後で焦げ付けば、逆らった本人の責任になる。だったら、推奨どおりに承認したほうがいい。
こうして、確認という行為は儀式になる。
画面に表示されたスコアを見て、内容を本当には理解しないまま、承認ボタンを押す。書類の上では、人間がチェックしたことになっている。だが彼が実際にやったのは、AIの結論を追認しただけだ。
行政でも同じことが起きている。補助金や給付金の審査にAIが導入され、職員はその判定を確認する立場になる。医療では、画像診断AIの所見を医師が確認する。教育では、AIが採点した答案を教師が確認する。
確認、確認、確認。どこを見ても、人間は確認している。しかし、誰も判断していない。
判断という行為が、いつのまにか確認という行為にすり替わっている。そしてこのすり替えは、たいてい誰にも気づかれないまま進む。なぜなら、書類の上では何も変わっていないからだ。「担当者が確認の上、承認」という一行は、昔も今も同じように書かれている。中身が空洞化していても、形式は完璧に保たれる。
制度が、この空洞に気づき始めた
興味深いのは、各国の制度がこの問題を、断片的にではあれ、捉え始めていることだ。
日本でも、総務省と経済産業省がまとめた『AI事業者ガイドライン（第1.2版）』がある。それは、自律的に動くAIエージェントを念頭に、誤作動やプライバシー侵害のリスクに対して、人間の判断を必須とする仕組みの必要性を示している。AIが自分で動き出す時代に、どこかで人間が関わる構造を残せ、という要請だ。
政府がこう言い出したこと自体は、正しい方向だと思う。AIエージェントが他のAIを呼び出し、勝手にタスクを連鎖させていく世界では、「気づいたら誰も意図していない処理が走っていた」という事態が現実に起こりうる。だから、人間の関与を制度として要求する。理屈は通っている。
だが、ここで先ほどの話が戻ってくる。
「人間の判断を必須とする」と書いたとき、その「判断」は、確認ボタンを押すことではないはずだ。スコアを追認することでもないはずだ。ところが、その「判断」が具体的に何を指すのか、誰がどこまでを引き受けるのか、どういう条件で人間が割って入るのか——そこまでは、ガイドラインは書ききれていない。書けるはずもない。それは個々の現場ごとに、組織ごとに、設計されなければならないものだからだ。
制度は「人間の判断を残せ」と言える。だが、「その判断をどう残すか」は言えない。
ここに、大きな穴がある。世界中で、人間の関与を求める声は高まっている。EUのAI法も、各国のガイドラインも、こぞって「人間の監督」を要求する。けれど、その監督が空洞化しないための設計図は、どこにも用意されていない。
要求はある。設計がない。
静かな予告
ここまで、いくつかの場面を並べてきた。
軍事のオペレーター。与信の担当者。補助金の審査官。画像診断の医師。彼らはみな、AIの輪の中にいる。制度上、判断を担っていることになっている。責任も負っている。
だが、彼らの多くは、判断していない。確認している。
そして、もし何か起きれば、責任はその人間に降りてくる。AIは責任を負わない。負えない。だから、責任だけが人間のところに残り、判断の実質はAIへ流れていく。
問題はAIではない、と私は思う。AIは速く、正確で、疲れない。多くの場面で、人間より良い推奨を出すだろう。
問題は別のところにある。
誰が判断を引き受けているのか。それが、どこにも設計されていないことだ。
「人間が最後に決める」という言葉は、安心を与える。だがその言葉は、誰が・どこまでを・どんな条件で引き受けるのか、という構造をひとつも語っていない。空欄のまま、安心だけを配っている。
教皇が「尊厳」と言ったとき、おそらく彼が見ていたのは、この空欄だったのではないか。
この空欄を、空欄のまま放置しない。誰が判断を引き受けるのかを、偶然や慣習に委ねず、設計の対象として扱う。そういう発想が要る。
それが Decision Design（判断の設計） である。
Decision Designは、判断という行為そのものを設計対象とする思想だ。
その中心にあるのがDecision Boundary（判断の境界）という概念である。
誰が決めるのか。
どこまでを任せ、どこからを引き受けるのか。
その線を、無自覚のまま放置せず、意図的に設計すること。
それがDecision Designである。
ここから先は、この概念を実装のレイヤーまで降ろしていく。Governanceでもなく、DXでもなく、AI倫理でもない、第四の設計対象としての判断を、どう具体的に組み立てるのか。教皇が言いよどんだ「尊厳」が、なぜ判断の構造の問題に着地するのか。その回収を、最後に行う。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。