はじめに：最適化アルゴリズム設計の難しさ 大規模トランスフォーマーの事前学習では、最適化戦略が学習効率と性能を大きく左右します。学習率のスケジューリングやオプティマイザの選択ひとつで、収束速度も汎化性能も変わってしまうのです。しかし、従来の最適化手法はAdamやAdamWなど固定設計が主流で、モデルやデータセットに適した戦略を自動設計することは長らく困難でした。 この課題に正面から挑んだのが、今回紹介する「OPTScientist」です。OPTScientistは、複数のAIエージェントが協調して最適化プログラムを自動探索・発見するフレームワークであり、人手による試行錯誤を大幅に削減する可能性を秘めています。 OPTScientistの全体像 OPTScientistの中核は、Theorist（理論家）・Designer（設計者）・Engineer（実装者）・Reviewer（評価者） という4つの役割を持つAIエージェントが協調し、Typed Optimizer Programs（型付き最適化プログラム）を自動で発見・評価・統合する枠組みです。 各エージェントは異なる観点