LLMs

A collection of 2 posts
AI・テクノロジー

HALO: A Layered Defense Architecture for Zero Hallucination in LLMs

Abstractの要約 HALOは、言語モデルの幻覚を抑制するための層状防御アーキテクチャである。複数の検証・根拠付けの層を組み合わせることで、出力の信頼性とトレーサビリティを高め、不可知性の高いケースでの不確実性を適切に扱えるよう設計されている。第一層はデータのグラウンディングとリトリーブを担当し、外部情報源から根拠を引き出して出力と紐づける。第二層は事実検証と整合性チェックを行い、推論経路と結論の整合性を検証する。第三層は出力の自己検証と制御を実装し、過信を抑制する仕組みを提供する。第四層にはユーザーフィードバックと知識更新を取り込み、知識ベースの鮮度と正確性を保つ。これらの層を通じて、出力が根拠付きであることを担保し、信頼性の高い回答を提供することを目標とする。計画的な設計と評価設計に基づく実装は、医療や法務など高信頼性が求められる領域での適用性を拡張する可能性を示唆する。 背景と関連研究 近年、RAG(Retrieval-Augmented Generation)とファクトチェックの組み合わせは、幻覚を抑制する有力なアプローチとして定着している。検索で取り出した根拠を出
6 min read
AI・テクノロジー

In-Place Tokenizer Expansion for Pre-trained LLMs — 多言語デコード高速化の実践的拡張

はじめに 事前学習済みの大規模言語モデルは、初期データセットに基づいた固定の語彙表を前提に設計される。新規言語や新語の追加に対して柔軟性が低く、トークン化の断片化が発生するとデコード遅延や計算コストが増大する課題が生じる。こうした実務的な問題に対し、本手法はトークナイザーを"インプレース"で拡張する実用的なレシピを提案する。既存のBPEマージを維持しつつ、新規トークンを追加できる点が特徴である。追加トークンは source sub-token embeddings の平均を初期値として採用することで、埋め込み表の整合性を崩さずに新語を取り込むことができる。既存トークンの表現はそのまま保持され、継続性が保たれる。 提案は二段階の適用を前提とする。まず Embedding の訓練のみを行い、その後、全モデルの継続事前学習へ移行する。対象は LFM2-8B-A1B MoE の継続チェックポイントを128Kトークナイザーへ拡張する設定で、オンデバイス運用を前提とした現実的な適用性を検証する。実証結果では、ヒンディー語・ベトナム語・タイ語などでデコード速度が従来比およそ2.2〜3.7倍、Th
6 min read