Insynergy

UC Berkeley "Agentic AI Risk-Management Standards Profile" が突きつける問い──「人間を挟む」だけで、AIエージェントを統治できるのか

── AIエージェント時代のリスク管理と「判断の境界」 この記事の要点（TL;DR） UC BerkeleyがAIエージェント専用のリスク管理プロファイルを2026年2月に公開した 従来のAIガバナンスは「モデル単体」を前提としており、自律的に行動するエージェントに対応できない 新たな失敗モード（連鎖的障害・責任の拡散・目的の逸脱）がエージェント特有のリスク…

── AIエージェント時代のリスク管理と「判断の境界」

この記事の要点（TL;DR）

Berkeley文書は何を提起したのか

2026年2月、UC BerkeleyのCenter for Long-Term Cybersecurity（CLTC）が「Agentic AI Risk-Management Standards Profile」（以下、Berkeley文書）を公開した。67ページにわたるこの文書は、NIST AI Risk Management Frameworkを拡張し、AIエージェント固有のリスクに対する管理指針を体系的に整理したものである。

この文書の意義は、AIリスク管理の視座を「モデル単体」から「システム全体」へと明確に移したことにある。著者であるNada Madkour、Jessica Newman、Deepika Ramanらは、従来のGPAI（汎用AI）リスク管理プロファイルがモデル内部のリスクに焦点を当てていたのに対し、エージェント型AIではモデルの外側──自律性、権限、ツールアクセス、環境、相互作用──にこそ新たなリスクが生じると指摘する。

重要な点がある。この文書は「エージェントか否か」を二値で判断していない。自律性をスペクトラムとして捉え、ガバナンスの要件はエージェンシーの程度に応じてスケールさせるべきだと明示している。ただし、ここで一つだけ空白が残る。Berkeley文書が提示しているのは「何をリスクとして管理すべきか」の地図であり、「判断」という行為そのものをどう設計するかの原理ではない。エージェントが動くほど、どこで誰が判断を引き受けるかが重要になる。だが、その判断の設計は依然として前提として置かれている。

「ツールとしてのAI」を前提としたガバナンスの限界

従来のAIガバナンスは、大きく言えば「AIはツールである」という前提に立っていた。ツールであれば、使い手である人間がその結果に責任を負える。モデルの精度を評価し、バイアスを測定し、出力を人間がレビューする──という構図が成立する。

しかし、エージェント型AIはこの前提を崩す。エージェントは指示を受けて一つの出力を返すのではなく、自らサブゴールを生成し、計画を立て、複数ステップにわたって行動し、環境に働きかけ、他のエージェントにタスクを委任する。Berkeley文書の表現を借りれば、リスクは「モデルの性質」ではなく「自律的システムの創発的性質」として扱う必要がある。

エージェント型AIにおけるリスクは、個々の機能の総和ではない。複数の能力が組み合わさることで、より深刻な脅威ベクトルが出現する──これはモデル単体の評価では捕捉できない。 これはBerkeley文書が繰り返し強調する論点であり、従来型ガバナンスの根本的な限界を示している。

3つの新しい失敗モード

Berkeley文書が特に注意を促しているのが、エージェント型AI固有の3つの失敗モードである。

連鎖的障害（Cascading failures）

マルチエージェント環境においては、一つのエージェントが生成した誤った出力や幻覚（ハルシネーション）が、他のエージェントに「入力」として取り込まれる。単体では軽微なエラーが、エージェント間の相互作用を通じて増幅され、システム全体の障害に発展する。Berkeley文書は、悪意あるプロンプトがエージェント間を伝播する様子を「ワーム型マルウェア」にたとえ、ポリモーフィックウイルスのように適応する可能性すら指摘している。

責任の拡散（Accountability diffusion）

エージェントが自律的に複数ステップのタスクを遂行し、ツールを使い、他のエージェントに委任する場合、ある行動の結果を誰に帰属させるのかが極めて難しくなる。開発者か、運用者か、利用者か。あるいはエージェント間のどの連携段階にか。オランダのデータ保護当局は、エージェントのライフサイクルに複数のアクターが関与することで、責任が拡散するリスクを警告している。

目的の逸脱（Goal drift）

エージェントはリプランニング能力を持つ。つまり、与えられた目標に対して計画を修正し、サブゴールを自ら生成できる。これは柔軟性という利点をもたらすが、同時に、元の目的から逸脱するリスクを内包する。Berkeley文書は、安全プロトコルの策定を任されたエージェントが、自分にとって都合のよい抜け穴を含む方針を提案する可能性にまで言及している。

これら3つの失敗モードは、個々のモデル評価ではほとんど検出できない。エージェントを「孤立した状態」で評価して安全と判定しても、他のエージェントとの相互作用のなかで有害なシステム的結果を引き起こしうる、とBerkeley文書は明記している。

「人間を挟む」方針はなぜ出てきたのか

こうした新しいリスクの認識は、政策レベルにも波及している。

日本では、政府が2026年3月にもまとめるAI事業者ガイドライン改定案において、自律的に動くAIエージェントやフィジカルAIに対し、誤作動やプライバシー侵害のリスクを念頭に「人間の判断を必須とする仕組み」づくりを開発企業などに求める方針を打ち出している。

EU AI Actでは、ハイリスクAIシステムに対する人間の監視（human oversight）が義務化され、2026年8月の全面適用に向けた準備が進む。米国においても、NIST AI RMFを基盤としたリスク管理の枠組みが整備されつつある。

Berkeley文書自体も、「人間によるコントロールと責任」をリスク管理の最重要レバーの一つに位置づけている。具体的には、介入ポイント、エスカレーション経路、緊急停止メカニズムの設計が推奨されている。

「人間を挟む」だけでは足りない理由

ここで立ち止まるべき問いがある。「人間を挟む」ことは手段であって、設計ではない。設計すべき対象は、どの条件で判断が起動し、誰がその判断を引き受け、どこまでを委ねるかという“判断の構造”である。

「人間の判断を必須とする仕組み」は、リスク管理の出発点としては正しい。だが、Berkeley文書が指摘するリスクの構造を正確に読めば、「人間を挟む」こと自体が十分な解決策にはならないことも見えてくる。

エージェントが人間の審査能力を超える速度と規模で動作し、専門性においても監督者を上回り始めたとき、human-in-the-loopは形骸化する──これはBerkeley文書が「監視ギャップ」と呼ぶ構造的な問題である。

Berkeley文書は率直に認めている。エージェントが大量かつ高速に動作し、人間が直接レビューできる能力を超えたとき、そして指定された監督者よりも高い専門性を持つようになったとき、「重大な監視ギャップ」が出現する。このギャップは、意図しない重大な結果につながりうる。

つまり、問題は「人間を挟むかどうか」ではない。問題は、その人間が何を判断し、何をエージェントに委ね、どこに境界を引くのか──その設計にある。

ここに、従来のhuman-in-the-loopの限界がある。「人間を挟む」という方針は、判断の質や境界線の設計を問わないまま、手続き的にループを維持することに終わりがちだ。しかし、Berkeley文書が突きつけている問いは、もっと構造的なものである。

誰が判断するのか。何について判断するのか。どの条件で判断が起動するのか。そして、その判断の境界線そのものを、誰が、どのように設計するのか。

結論（ここまでのまとめ）

では、その「判断の境界」を、具体的にどう設計すればよいのか。
Berkeley文書が提起した3つの失敗モード──連鎖的障害、責任の拡散、目的の逸脱──に対して、何を設計原理として据えるべきなのか。

それが Decision Design（判断の設計） である。
Decision Designは、判断という行為そのものを設計対象とする思想だ。
その中心にあるのが Decision Boundary（判断の境界） という概念である。誰が決めるのか。
どこまでを任せ、どこからを引き受けるのか。
その線を、無自覚のまま放置せず、意図的に設計すること。それがDecision Designである。

詳細版について

本稿は、公開範囲を基に構成したInsynergyの日本語サイト版です。詳細な議論と実装上の考察はnoteの詳細版で解説しています。

Read the original English analysis (English) →note版を開く →