2026年6月5日、少し奇妙なニュースが流れた。AI開発の最前線を走っている当事者が、自分たちで「ブレーキ」を語り始めた、という話だ。
日本経済新聞の報道によれば、米Anthropic（アンソロピック）は同日、AIの暴走リスクを抑えるうえで開発の一時停止や減速が有効だと提言した。同社が公開したブログ「When AI builds itself」では、技術の進展をあえて遅らせ、社会が対応するための時間を確保することには意味がある、という趣旨が述べられている。競合のOpenAI（オープンAI）も、企業の自主的な取り組みだけに委ねるのではなく、政府による監視の強化を求めた。
これは、思っているより違和感のある光景だ。ふつう、こうした企業は「もっと速く」と言う側にいる。投資家に成長を約束し、競合に先んじることを存在理由にしている。その当事者が、自分たちの足を遅くしてもいい、政府にもっと見張ってほしい、と言い出した。アクセルを踏むことを生業にしている人間が、ブレーキの設計図を持ち出してきたようなものだ。
なぜ、AIを作っている側が、AIを止める話を始めたのか。
性能の話ではないことに気づくまで
この種のニュースは、たいてい「AI暴走論」として消費される。賢くなりすぎたAIが人間の手を離れる、というおなじみの筋書きだ。Anthropicが警戒しているシナリオのなかにも、確かにそれに近いものはある。同社は今後の展開を複数のシナリオに分けて描いているが、もっとも警戒しているのは、AIが自分で次の世代のAIを設計し、開発速度が計算資源の制約だけで決まっていく「再帰的自己改良」の世界だ。
ただ、その筋書きだけを取り出して怖がるのは、たぶん論点を外している。
興味深いのは、Anthropic自身が「もっとも起こりそうだ」としているシナリオのほうだ。そこでは、AI開発の大部分が自動化されても、研究の方向性や結果を判断するのは人間が担い続ける、とされている。100人規模の組織が、1万人や10万人分の仕事をこなせるようになる。手を動かす部分は機械に渡る。けれど、どこへ向かうのか、その結果をどう受け止めるのかを決めるのは、依然として人間だ、という見立てである。
つまるところ、彼らが残そうとしているのは「判断」だった。能力ではなく判断の所在。これは暴走の話というより、誰が舵を握り続けるのか、という話に近い。
そして、それは遠い未来の超知能の問題ではない。すでに、いまの組織のなかで起きている。
「誰が決めたのか」が消えていく
ひとつ、ありふれた場面を思い浮かべてほしい。
ある金融機関の融資審査。AIが申込内容と取引履歴を読み込み、「承認が妥当」と推薦する。担当者はその推薦を見て、問題なさそうだと判断し、承認のボタンを押す。上司が最終確認の欄に印を入れる。手続きは滞りなく進み、誰も間違ったことはしていない。
では、この融資を「決めた」のは誰か。
AIは推薦しただけだと言う。担当者は、AIが推薦したから妥当だと考えたと言う。上司は、担当者が確認した案件だから承認したと言う。一つひとつの動作はすべて正しく、責任ある行動のように見える。にもかかわらず、判断の主体だけが、するりと抜け落ちている。
問題が起きなければ、この曖昧さは表に出てこない。だが、後になって審査の妥当性が問われたとき、関係者は同じ問いの前に立つことになる。あれは、結局のところ誰の判断だったのか、と。
行政の現場では、この構造がもっとはっきり見える。たとえば各種の助成金審査だ。書類が要件を満たしているかを見る形式審査、内容の妥当性を吟味する内容審査、そして交付を決める最終判断。これまで人が担ってきたこれらの工程に、AIエージェントが入り込み始めている。行政DXの文脈では、定型的な確認作業をAIに任せる動きはむしろ歓迎されている。
ここで効いてくるのが、政府の姿勢だ。総務省と経済産業省が2026年3月31日に公表した「AI事業者ガイドライン」第1.2版は、AIに単独で判断させるのではなく、適切なタイミングで人間の判断を介在させる利用を検討すべきだと示している。自律的に動くAIエージェントが広がるなかで、誤作動やプライバシー侵害のリスクを念頭に、人間の判断を必須とする仕組みづくりを開発企業などに求める、という方向性だ。
ガイドラインは「人間が判断せよ」と言う。もっともである。けれど、現場で本当に難しいのは、そこではない。誰が、どの場面で、何について判断するのか。その線引きが決まっていないまま「人間の判断を介在させよ」と言われても、結局は冒頭の融資審査のように、全員が関与しているのに誰も決めていない状態に戻ってしまう。
問題は、AIが賢すぎることではない。
誰が判断しているのかが、見えなくなることだ。
AIが優秀になればなるほど、その推薦はもっともらしくなり、人間の確認は形だけのものに近づいていく。能力が上がるほど、判断の所在は曖昧になる。
AnthropicやOpenAIが直接語っているのは、AIの能力そのものだ。判断主体の曖昧化を名指ししているわけではない。けれど、その能力を社会に組み込もうとするとき、避けて通れないのが「誰が最終的に判断するのか」という問題である。能力が上がるほど、判断の所在は見えにくくなる。だからこそ、アクセルを踏んできた開発企業自身が、統治の議論を始めているのかもしれない。
私たちはいま、AIをどう管理するかを議論している。評価をどう義務づけるか、監視をどう強めるか、開発をどこまで遅らせるか。どれも大切な問いだ。
けれど、本当に問うべきなのは、AIをどう管理するか、ではないのかもしれない。
AIの問題は、能力の問題から、判断の所在の問題へ移り始めている。
誰が判断するのか。
その設計のことなのではないだろうか。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。