Retrieval

A collection of 1 post
健康・医療

Retrieval-Augmented Generation for 3D Medical Image Question Answering via Point Cloud and Language Models

はじめに 3D医用画像(CT/MRI等)は臨床診断の意思決定を支える重要な情報源ですが、その3D空間の複雑さと、ラベル付きデータの不足がQA(質問応答)システムの普及を阻んできました。本研究はこの課題を解決するため、Retrieval-Augmented Generation(RAG)の枠組みを用いる新しいフレームワーク「3DMed-RAG」を提案します。RAGの核は、外部知識の検索結果を生成プロセスに組み込むことで、言語モデルの出力をデータに適した根拠とともに導く点にあります。 提案の中心技術として、医用画像基盤モデルから抽出したポイントクラウド特徴を用いた類似症例の知識検索を挙げます。3Dデータは空間的関係が重要であり、ポイントクラウド表現は局所的な解剖学的関係を効率的に捉えられます。検索結果は大規模言語モデル(LLM)の入力に組み合わせられ、微調整を必要とせずに回答の生成を促します。さらに知識グラフを活用することで、関連概念や関係性といった補足情報を適切な文脈で提供し、説明性を高めます。 この統合的フレームワークは、3Dデータ固有の情報を生かしつつ、LLMの豊富な言語能力を
19 min read