Aegis

A collection of 1 post
Aegis

AIエージェントの安全を実行時に担保する「Aegis」— モデルは提案し、ランタイムが判断する新しいガバナンスアーキテクチャ

はじめに:エージェントAIが変えた安全性のルール 従来の大規模言語モデル(LLM)は、与えられたプロンプトに対してテキストを生成する「文章生成器」として機能してきた。この段階での安全性リスクは、モデルが差別的な表現や誤情報、不適切なコンテンツを出力することに集中していた。対策として、出力フィルタリングや入力サニタイジング、モデルへの倫理的な指示(システムプロンプト)が主に用いられてきた。 しかし、エージェントAIと呼ばれる次世代のAIシステムは、この前提を根本から覆す。エージェントAIはファイルの読み書き、メールの送信、ジョブの実行、ワークフローの変更など、現実世界に直接作用する「ツール呼び出し(Tool Calling)」を伴う。モデルの出力が単なるテキストではなく、システムコールやAPIリクエストとして実行される点が決定的な違いである。 この変化により、安全性問題の本質が「有害なテキストの生成」から「有害な操作の副作用」へとシフトした。OpenAIが発表した「Agents of Chaos」(arXiv:2602.20021)では、自律エージェントが権限昇格や情報漏洩、リソー
17 min read