止められない、追えない、誰も決めていない ── MIT報告が暴いたAIエージェントの構造的欠陥

「何をやっているか、分からない」 2026年2月、ケンブリッジ大学のLeon Stauferを筆頭著者とする国際研究チームが「2025 AI Agent Index」を公表した\[1\]。…

「何をやっているか、分からない」

2026年2月、ケンブリッジ大学のLeon Stauferを筆頭著者とする国際研究チームが「2025 AI Agent Index」を公表した[1]。MIT CSAIL、ハーバード・ロースクール、スタンフォード、ワシントン大学、ペンシルベニア大学、Concordia AI、ヘブライ大学が参加し、30の主要なAIエージェントを体系的に調査した報告書である。

この報告は、AIエージェントのセキュリティ脆弱性を並べ立てたものではない。もっと根本的なことを言っている。

我々は、AIエージェントが何をしているのか、把握できていない。

調査された30のエージェントのうち、エージェント固有の安全性評価を公開していたのはわずか4つ(ChatGPT Agent、OpenAI Codex、Claude Code、Gemini 2.5 Computer Use)。30のうち25が内部安全性テストの結果を一切開示せず、23が第三者による検証を受けていない[1-1]。高度な自律性を持つ13のエージェント(論文では"frontier levels of autonomy"と分類)のうち、エージェント固有の安全性評価を開示していたのも、やはり4つだけだった。

そして、21のエージェントには、自分がAIであることを相手方に開示するデフォルトの行動が文書化されていない。7つのエージェントだけが安定したUser-Agent文字列やIPアドレス範囲を公開しており、逆に6つのエージェントはChromeに見えるUA文字列や住宅用IPアドレスを明示的に使い、人間のトラフィックに偽装していた[1-2]。

つまり、いま企業のメール、ブラウザ、業務ワークフローに入り込んでいるAIエージェントの多くは、何をしているかが分からず、止め方が分からず、追跡もできない。誰が、何を、どこまで任せたのかという判断の履歴が、そもそも存在しない。

これはセキュリティの問題ではない

多くのメディアがこの報告を「セキュリティ上の脅威」として報じた。もちろん、セキュリティ上のリスクは実在する。プロンプトインジェクション攻撃は主要なAIエージェントのほぼすべてで実証されており[2]、あるエージェントが侵害されると、下流のエージェント群に連鎖的に波及するカスケード障害も確認されている。Galileo AIの研究(2025年12月)では、単一のエージェントの侵害が4時間以内に下流の意思決定の87%を汚染したと報告されている[3]。

だが、問題の本質はそこにはない。

セキュリティとは、既に定義された境界を守る行為である。ファイアウォールは「内と外」の境界を前提とし、アクセス制御は「許可と拒否」の境界を前提とする。ところが、AIエージェントにおいては、その境界自体が定義されていない。

MIT CSAILの報告が実質的に描き出しているのは、技術的な欠陥の一覧ではない。それは、設計思想の欠落である。

誰がこのエージェントに、この範囲の判断を委ねると決めたのか。
どこまでの自律的行動を許容し、どこで人間が介入するのか。
その判断はいつ、どのような基準で行われたのか。

これらの問いに対して、30のエージェントの大半が、何も答えられない。答えられないのではない。問い自体が設計に組み込まれていない。

「誰が決めたのか」という問い

ここで問題を少し抽象化してみたい。

従来のITシステムでは、処理は決定論的だった。インプットに対してアウトプットが一意に決まる。だからこそ、テスト可能であり、監査可能であり、責任の所在が明確だった。人間がシステムの挙動を「設計」し、その設計に基づいて「判断」が実装された。

AIエージェントはこの構造を根本から変えた。エージェントは確率的に振る舞い、文脈に応じて異なる判断を下す。同じ入力に対して同じ出力が返る保証はない。そしてその判断は、エージェントのプランニング、ツール連携、メモリ、そしてポリシーの複合的な相互作用から生まれる。

MIT報告の研究者たちが指摘するように、多くの開発者はベースとなる大規模言語モデルの安全性評価をもって「安全である」と主張する。しかし、エージェントとしての安全性は、モデルの安全性とは別の問題だ。報告書が強調するのは、エージェントの振る舞いはモデルだけでなく、その上に構築されたプランニング、ツール、メモリ、ポリシーの総体によって決まるという点である[1-3][4]。モデルが安全であることと、エージェントが安全であることは、まったく異なる。

では誰が、このエージェントの「判断の範囲」を設計しているのか。

答えは、多くの場合、誰も設計していない、である。

経営者が直面する問い

この構造を、経営者の視点から見直してみる。

あなたの組織がAIエージェントを業務に導入したとする。顧客対応、文書処理、調達管理、あるいは財務レポートの作成。エージェントは効率的に動き、処理速度は向上し、コストは削減される。

しかし、そのエージェントが下した判断の一つが、顧客との契約条件に影響を与えたとしたら。あるいは、調達先の選定において、人間が意図しない基準で優先順位をつけていたとしたら。

誰が、そのエージェントにその判断を任せると決めたのか。

その問いに答えられない場合、問題はセキュリティ部門の管轄を超えている。それはガバナンスの問題であり、組織設計の問題であり、つまるところ 判断の設計 の問題である。

MIT CSAILの報告は、30のエージェントのうち12が使用状況のモニタリングを提供していないか、レート制限到達時の通知のみにとどまっており、多くのエンタープライズエージェントにおいて個別の実行トレースがログに記録されているかどうかすら確認できなかったと述べている[1-4]。つまり、エージェントが何を判断し、何を実行したかの履歴が存在しない。

これは、ログの欠如という技術的問題ではない。判断の主体と範囲が設計されていないという、構造的問題である。

セキュリティの向こう側にあるもの

この問題に対して、業界はいくつかの方向から動き始めている。2025年12月、OpenAIやAnthropicなどはAIエージェントの開発基準を策定するための財団設立を発表した[5]。いくつかのエージェントは暗号署名によるリクエストの属性証明(OpenAIのChatGPT Agentなど)や、実行ログの構造化に取り組み始めている。

だが、これらはいずれも「守り方」の議論であって、「何を守るのか」の議論ではない。

必要なのは、セキュリティの強化ではない。判断の構造を設計することだ。どこまでをAIに委ね、どこからを人間が引き受けるのか。その境界を明示的に引くこと。そしてその境界を、組織として合意し、運用し、検証可能にすること。

ここまで読んでくださった方は、おそらく気づいているだろう。この問題は、技術者だけでは解けない。セキュリティ部門だけでも解けない。これは、組織が「判断」というものをどう設計するかという、経営の問題なのだ。

この問いに対する一つの思想的枠組みが存在する。

それが Decision Design(判断の設計) である。
Decision Designは、判断という行為そのものを設計対象とする思想だ。
その中心にあるのがDecision Boundary(判断の境界)という概念である。誰が決めるのか。
どこまでを任せ、どこからを引き受けるのか。
その線を、無自覚のまま放置せず、意図的に設計すること。それがDecision Designである。

詳細版について

本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。

Read the original English analysis (English) →note版を開く →