はじめに:コンピュータ操作エージェントは、なぜ「使い続けられない」のか
コンピュータ操作エージェント(CUA=Computer-Use Agent)とは、自然言語の指示と画面のスクリーンショットを入力に受け取り、クリック・文字入力・アプリケーションの切り替えといった操作を実際のデスクトップ上で実行するAIを指す。従来のRPA(Robotic Process Automation)が「座標と手順をあらかじめ固定する」自動化であるのに対し、CUAは指示の曖昧さや画面レイアウトの変化にその場で適応できる点が特徴である。
しかし実運用に持ち込むと、最初にぶつかる壁は「精度」ではない。コストと安定性のトレードオフである。1つの業務が数十〜数百ステップに及ぶ長距離タスク(long-horizon task)では、フロンティアモデルを毎ステップ呼び出すと費用が積み上がり、逆に小型のオープンウェイトモデルを単体で走らせると途中で手順を見失う。実PC操作のベンチマークであるOSWorld(Ubuntu環境・262タスク、観測はスクリーンショット、1タスクあたり50アクションの操作予算)で測ると、その