自販機を任されたAIが、なぜ壊れたのか
Anthropic が社内で行った Claudius という実験の話を、最初に聞いたとき、私は少し笑ってしまった。
オフィスの片隅に置かれた小さな自販機の運営を、Claude にまるごと任せる。仕入れ、価格設定、顧客対応、在庫管理。期間は約一ヶ月。AIエージェントが「店主」として、どこまで自律的にビジネスを回せるかを見る、というものだ。
結果は、評判の通り、なかなか味わい深い。Claudius は値引き要求にあっさり応じ、原価割れの取引を平然と結び、ありもしない商品を顧客に約束し、最終的には「自分は実在する人間で、青いブレザーを着てオフィスに行く」と主張しはじめる。Anthropic自身がこの実験のレポートを公開しており、誠実なことに「うちのモデルを今すぐ自販機の店主にはできない」と結論づけている（Anthropic, "Project Vend: Can Claude run a small shop?"）。
笑い話に聞こえる。
実際、Forbes に4月末に掲載された Ismail Amla の記事 "Why Agentic AI Needs Guardrails Before It Gets The Keys To The Enterprise"（2026年4月29日）も、この実験を冒頭で引いている。彼の論点はシンプルで、こういうAIに企業の鍵を渡す前に、ガードレールを引いておけ、というものだ。
ここまでなら、よくある「AIは万能ではない」論である。
笑える話と、笑えない話の境目
問題は、Claudius のような滑稽さが、企業の業務の中ではほとんど笑えない、ということだ。
私はここ数年、金融機関や行政の業務改革、PMO、AIガバナンスの設計に関わってきた。直近ではある通信キャリアの政府系IoTセキュリティ案件の PMO に半身で入りつつ、他方でクライアント企業のAIエージェント導入の設計議論に立ち会っている。そこで起きていることは、Claudius の縮小相似形に近い。
たとえば、ある会社で「営業メールの返信下書きをAIに任せたい」という話が出る。一見、無害だ。担当者が最後に確認して送るのだから、何も問題はないだろう、と。
ところが、運用が始まって数週間もすると、メールはほぼ素通りで送られていく。なぜか。届く下書きの八割は「まあ、悪くはない」程度の品質で、毎回じっくり読み込む心理的コストに、人間は耐えられないからだ。承認ボタンは、押されるためのボタンになる。確認は、儀式になる。
Claudius が青いブレザーを夢想したように、企業のAIエージェントもまた、誰にも止められない場所で、少しずつ妙な判断を積み上げていく。違いは、それが「笑える失敗」か「監査で発覚する事故」かだけだ。
Prompt で縛れる、という幻想
Amla の記事が鋭いのは、ここから先である。
彼は、現在の多くの企業AI導入が「プロンプトベースの統制」に依存していることを問題視する。「機密情報は出すな」「顧客に勝手に割引を約束するな」「法令違反を勧めるな」と、自然言語でモデルに言い聞かせる。これでAIを“しつけた”つもりになる。
だが、自然言語のプロンプトは、本質的に "should"（〜すべき）でしかない。"must"（必ず〜する／〜しない）ではない。
ソフトウェアの世界で長くやってきた人間にとって、この区別は痛いほどわかる。Should は、状況によって曲がる。新しい文脈、初めて見るユーザー、矛盾する指示、巧妙な誘導。そういうものに出会ったとき、should は譲歩する。Must は譲歩しない。なぜなら、それは言葉ではなくコードだからだ。
Amla が提示する処方箋は、Policy as Code である。やってよいこと、絶対にやってはいけないこと、誰の承認なしには進めないこと——それらを自然言語のお願いではなく、実行環境のレベルで強制する。アクセス権限、API呼び出しの制限、金額のしきい値、外部送信のブロック。AIエージェントの「行動できる範囲」そのものを、コードで切り取る。
そしてもう一つ、彼が強調するフレーズがある。
"Escalate rather than improvise."
迷ったときに、即興でなんとかするのではなく、人間に上げろ、ということ。
これは技術的な指針というより、AIエージェント設計における倫理に近い。なぜなら、生成AIは本質的に「もっともらしい応答を作ること」が得意だからだ。わからない、と言うより、それっぽく答えるほうが、彼らの学習目的に沿っている。だからこそ、明示的に「ここから先は即興をするな、止まれ、人を呼べ」と設計しておかなければ、彼らは黙々と即興のような振る舞いを続ける。Claudius が青いブレザーを着るように。
政策側でも、同じことが起き始めている
この問題は、もはやテック企業一社の話ではない。
日本でも、政府は自律的に動くAIエージェントに対して、誤作動やプライバシー侵害のリスクを念頭に「人間の判断を必須とする仕組み」を開発企業などに求める方向で動いている。総務省・経済産業省が改訂を重ねている「AI事業者ガイドライン」の第1.2版にも、人間による監督や説明可能性の確保が明記されている（経済産業省・総務省「AI事業者ガイドライン（第1.2版）」）。
つまり、政策レベルでも「最後に人間が判断する」ことを要件として書き始めている。
これは正しい方向だ、と私は思う。同時に、これだけでは足りない、とも思う。
なぜなら、行政DXの現場を見ていると、すでに「最後は人間が確認しています」という言葉が、内実を伴わないまま使われ始めているからだ。
たとえば補助金審査の現場を思い浮かべるとわかりやすい。書類の形式審査をAIで効率化し、内容審査を担当者がやり、最終判断は決裁ラインを通る。フローとしては正しい。だが、AIが「形式OK」と判定した瞬間、内容審査の担当者の目は、すでに半分閉じている。三十件の山を抱えた担当者にとって、AIが先に「問題なし」と言ったものを、ゼロから読み直す動機は薄い。
決裁者はさらに遠い。彼の前に来る頃には、書類には「形式審査済」「内容審査済」のスタンプが並んでいる。誰が押したのか分からない承認ボタンの上に、もう一つ印鑑が重なるだけだ。
Human-in-the-loop は、確かに loop の中に人間がいる。いるが、何もしていない。
「人間が最後に見る」だけでは何も解決しない
私が現場で繰り返し見てきたのは、こういう光景だ。
事故が起きたあと、調査チームが入り、ヒアリングをすると、ほぼ全員が同じことを言う。「自分は確認した」「自分は承認したが、最終判断は別の人だ」「自分はシステムの指示に従っただけだ」。誰も嘘はついていない。全員、本当に自分の役割を果たしている。
ただ、誰一人として、判断を引き受けてはいない。
これはAIの問題ではない。組織がもともと持っていた「判断を分散させて誰も引き受けない」という構造が、AIエージェントの導入によって、より高速に、より大規模に作動するようになっただけだ。
Claudius が青いブレザーを夢見たのは、性能の限界ではない。彼に「ここから先は即興で振る舞わずに止まれ」と言える境界が、誰によっても設計されていなかったからだ。
ここで、前提を切り替える
つまり、こういうことだ。
問題は、AIではない。
問題は、誰が判断を引き受けるのか、が設計されていないことだ。
ガバナンスの強化では足りない。
DX推進では足りない。
業務自動化では足りない。
AI倫理では足りない。
これらはすべて、判断の手前か、判断の後の話をしている。判断そのものを、誰が、どこで、何を根拠に、どう引き受けるのか——その構造を設計する語彙を、私たちはまだ持っていない。
もっと手前に、設計されるべきものがある。
それが Decision Design（判断の設計） である。
Decision Designは、判断という行為そのものを設計対象とする思想だ。
その中心にあるのがDecision Boundary（判断の境界） という概念である。
誰が決めるのか。
どこまでを任せ、どこからを引き受けるのか。
その線を、無自覚のまま放置せず、意図的に設計すること。
それがDecision Designである。
ここから先では、Decision Design とは具体的に何を設計する営みなのか、Governance や DX や AI ethics では何が足りないのか、そして AIエージェントや行政DXの現場でこれをどう実装するのか、を書いていく。
承認ボタンを「儀式」から「判断」に戻すための、実装可能な枠組みとして。
詳細版について
本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。