はじめに
量子化はLLMのデプロイコストを抑え、家庭用サーバーや現場環境での実運用を可能にします。しかし、ビット幅を落とすほど、精度指標だけでは捉えきれない挙動変化が生じることがあります。本研究の要点は、従来の正解率に加え Correctness Agreement という新しい評価指標を導入し、元モデルと量子化モデルの予測がどの程度重なるかを定量的に評価する点にあります。8-bit から 2-bit への量子化を横断的に検証すると、タスク完遂性が保たれていても内部挙動が分岐するケースが見つかりました。
この分岐は attention 重みの構造的変化として現れ、特に Query と Key の Projection が Value/Output より敏感であることが統計的に示されています。実務的には、ローカル環境での評価フローを見直し、Accuracy だけでなく Correctness Agreement を組み込んだ判断プロセスを導入することが推奨されます。
以下は本稿の要旨を反映した図解と要点です。
graph TD
A[Base LLM] --> B[量子化モデル