Reasoning

A collection of 2 posts
科学・研究

Enhancing Small Language Models Reasoning through Knowledge Graph Grounding

はじめに 知識グラフ groundingとは、外部知識グラフの情報を根拠として小規模言語モデルの推論を支援する手法である。モデルが内部に保持する知識だけでは検証が難しい事実や結論の整合性を、グラフ上の関係性とエビデンスとして参照可能にする点が特徴だ。例えば、エンティティ同士の結びつき、階層構造、時系列的な関係性を推論過程に組み込むことで、出力の信頼性と解釈性を高め、根拠を可視化しやすくする。 本論文の目的は、小規模LMの推論信頼性と解釈性を高めるための、知識グラフ grounding 推論の設計と評価を示すことである。提案手法の全体像、実験設計、実務的応用、関連研究との位置づけを整理し、現場での活用に向けた指針を提示する。 本稿では、以下の三点を軸に展開する。第一に、外部グラフから関連ノードを検索・抽出し、LMに根拠を提供して推論を導くアーキテクチャの要点。第二に、推論の正確性と根拠の整合性を評価する実験設計と評価指標。第三に、実務での適用に向けたデータ連携や運用上の留意点を整理する。 背景と課題 小規模言語モデルは、データ量や計算資源の制約のため、推論の正確さ・一貫性・解
9 min read
科学・研究

When Does In-Context Search Help? A Sampling-Complexity Theory of Reflection-Driven Reasoning

背景と目的 大規模言語モデル(LLMs)は、複雑な推論タスクにおいて長い推論経路を要するケースが多い一方で、文脈の取り扱い次第で初期仮説の正確さが大きく揺れる。文脈内検索(In-context search)は、推論過程の途中で外部情報を参照し、得られた情報を自分の解答と照合・修正する手法である。本稿の背景と目的は、こうした動機を明確に示し、推論の難しさを定量化する枠組みを提示することにある。 * In-context search(文脈内検索)とは、推論の過程で外部知識や検索結果を取り込み、回答の精度を改善する手法である。 * 反射的推論(self-reflection)と組み合わせることで、初期仮説の誤りを早期に検出・修正し、サンプリングの効率を高める可能性がある。 * この動機は、ゼロショットでの難問に対して、逐次試行回数を過剰に増やさずとも成功確率を高められる点にある。 * ただし、検索コストの増大、文脈ノイズ、過剰適合のリスクなどの課題もあり、理論と実装のバランスを取ることが重要である。 ここで、In-context searchと反射的推論の基本的な関係性を図
7 min read