はじめに:LLMはWebサイトを作れるが「動く」とは限らない
大規模言語モデル(LLM)は、自然言語の指示だけでHTML、CSS、JavaScriptからなるWebサイトを生成できるようになりました。しかし、見た目が整っていることと、正しく動くことは別問題です。ボタンが反応しない、フォーム送信でエラーが出る、入力データが再読み込み後に消えるといった欠陥は珍しくありません。WebGen-Benchでは、ベースのQwen3-8Bの機能的成功率(FSR)が14.92%にとどまりました。
強化学習(RL)は、動作結果を報酬としてモデルに返し、この差を埋める方法です。ただし、何を「成功」とみなすかを正確に測れなければ、モデルは見た目だけを改善し、動かないサイトを生成する方向に学習してしまいます。WebGraderは、この報酬設計そのものを自動化する研究です。
背景:Webサイト生成RLの報酬問題
従来の評価には二つの方式がありました。手書きのPlaywrightやSeleniumスクリプトは正確ですが、要件ごとに人手で作る必要があり、オープンエンドな生成物には拡張しにくい方式です。一方