強化学習

A collection of 4 posts
WebGrader

WebGrader:Webサイト生成AIを「自己進化する採点官」で鍛える──8Bモデルが480Bを超えた日

はじめに:LLMはWebサイトを作れるが「動く」とは限らない 大規模言語モデル(LLM)は、自然言語の指示だけでHTML、CSS、JavaScriptからなるWebサイトを生成できるようになりました。しかし、見た目が整っていることと、正しく動くことは別問題です。ボタンが反応しない、フォーム送信でエラーが出る、入力データが再読み込み後に消えるといった欠陥は珍しくありません。WebGen-Benchでは、ベースのQwen3-8Bの機能的成功率(FSR)が14.92%にとどまりました。 強化学習(RL)は、動作結果を報酬としてモデルに返し、この差を埋める方法です。ただし、何を「成功」とみなすかを正確に測れなければ、モデルは見た目だけを改善し、動かないサイトを生成する方向に学習してしまいます。WebGraderは、この報酬設計そのものを自動化する研究です。 背景:Webサイト生成RLの報酬問題 従来の評価には二つの方式がありました。手書きのPlaywrightやSeleniumスクリプトは正確ですが、要件ごとに人手で作る必要があり、オープンエンドな生成物には拡張しにくい方式です。一方
5 min read
AI・テクノロジー

OpenForgeRLで切り拓く、自宅サーバーで育てるAIエージェント

はじめに 自宅サーバーでエージェントをエンドツーエンドで訓練する際には、訓練データの生成と推論の挙動を安定して再現できる構成が不可欠です。ハーネス(推論支援ソフトウェア)を一体化すると、モデル呼び出しの依存や設定の違いが訓練ループの再現性を乱しやすくなります。ハーネスを分離する設計は、環境の違いを吸収しつつ、データ収集と検証を独立させることで、家庭用リソースでも信頼性の高い訓練を可能にします。 論文が提案する解決策は、軽量なプロキシを介してハーネスの呼び出しを受け取り、それを訓練データとして記録する仕組みと、Kubernetesのオーケストレーターを用いて各ロールアウトを独立したリモートコンテナで実行する構成です。これにより、ハーネスの差異や新規環境の追加が訓練ループ全体へ与える影響を分離でき、スケール訓練の再現性を高めます。 対象となるハーネスには Claude Code、Codex、OpenClaw などが例示され、GUIブラウザエージェントやツールベースのエージェントを含む多様な実装が示されています。家庭用サーバーでの検証では、これらの組み合わせに応じた設定の工夫とリソース
5 min read
科学・研究

Graph-Augmented Tree SearchとLayered World ModelsによるLLMエージェントの計画能力向上

はじめに Graph-Augmented Tree Search は、強化学習と探索木を統合する手法です。高次元の状態空間に対して、探索木の分岐を現実的な範囲に絞りつつ、方策の改善を継続的に行います。従来の強化学習は価値の近似と反復更新に依存しますが、探索木の構造を併用することで、未知の分岐を事前評価し、失敗を最小化します。次に、Layered World Models は環境を階層的に表現して長期計画の安定性を高める設計思想です。低レベルの動作と高レベルの戦略を分離することで、学習データの再利用性と計画の長距離展開を両立します。 LightRAG/GraphRAG の活用は、エージェントが関連する世界知識を動的に取得・更新する仕組みを提供します。内部知識と外部情報を橋渡しすることで、推論の現実性と適応性を高めます。SearXNG検索を組み合わせることで、論文の背景技術・先行研究・実装例・コミュニティの反応を補足情報として参照でき、研究の全体像を把握しやすくします。 この導入では、現実世界のタスクでの適用が最も期待される点を挙げます。ロボティクス、ゲームAI、自動運転など、ダイナ
9 min read
AI・テクノロジー

ミラ・ムラティ氏らが「Thinking Machines Lab」設立とマニフェスト公開:なぜAPIの「レンタル」ではなく「重みの所有」と「分散型アライメント」が重要なのか?

1. はじめに:AI業界に走る衝撃とMira Murati氏の新スタートアップ 2026年7月、人工知能(AI)業界は一つの大きな転換点を迎えています。元OpenAIのCTOであるミラ・ムラティ(Mira Murati)氏と、同じく元OpenAIおよびAnthropicの著名な安全研究者であるジョン・シュルマン(John Schulman)氏らが率いる新スタートアップ「Thinking Machines Lab」が、そのビジョンと哲学を詰め込んだマニフェスト「The Future Worth Building Is Human(構築するに値する未来は人間らしい)」を公開しました。 2025年2月にMeta、Mistral、OpenAIなどから優秀な研究者やエンジニア約30名を集めて極秘裏に発足した同社は、2025年4月にAndreessen Horowitz(a16z)のリードによって20億ドルのシード資金を120億ドルの評価額で調達し、大きな注目を集めていました。形成されたマニフェストは、単なるマーケティング的な宣言文ではなく、現在の巨大テック企業が進める「中央集権的なフロンティ
6 min read