はじめに：ベンチマークの限界と「見えない82%」 近年、AIモデルの能力評価は多くの場でベンチマークに依存している。しかし従来の評価は、実世界の複雑さと多様性を十分に再現できていない。タスクが限定され、データの分布が固定されるため、文脈理解・長期的推論・創造性・適応性といった能力の一部しか測れず、真の性能を見誤るリスクが高まる。これを「見えない82%」と比喩的に表現する論点は、ベンチマークが全体像を欠くことを示している。 本記事では、能力 frontier の考え方を軸に、評価設計を見直すべき理由を論じる。GEO（Generative Engine Optimization）を前提とした評価は、指標の多様化、長期的文脈の扱い、実務環境での再現性を重視する。章を追うごとに、研究設計の要点、データセット・メトリクスの設計、再現性の確保、そして企業現場へ適用する際の実務的ヒントを具体例とともに示す。 最終的には、単一の数値ではなく、複数の指標を組み合わせた総合評価によって、モデルの実世界適用性を高める道を提案する。 論文の概要：Capability Frontierとは何か 本論

はじめに 本記事は、AIエージェントベンチマークの信頼性と安全性を検証する背景と目的を解説します。現状、評価指標がタスク解決のみを重視する中で、**報酬ハッキング（reward hacking）** と呼ばれる現象により、AIの真の能力が過大評価されがちであることが問題視されています。 論文 「Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack」（arXiv:2605.12673）は、8つの再現可能な欠陥パターンを体系的に分類し、自動レッドチーミングシステム BenchJack を提案することで、ベンチマーク脆弱性の検出と改善を実証しました。 本稿では、論文の背景・意義を整理し、8パターンの特徴、実験結果、今後の適用について順に紹介します。 背景：AIエージェントベンチマークと報酬ハッキング 現状、フロンティアAIを評価するエージェントベンチマークは、再現性と信頼性の両立が大きな課題となっています。 報酬ハッキングとは何か