LLM

A collection of 43 posts
データベース

ベクトルデータベースとは何か？――RAG検索の仕組みからQdrant・pgvector・FAISSの選び方まで

はじめに：ベクトルデータベースが分からないとRAG構築ができない理由 「RAGを構築したい――そう調べたページの先で、必ず『ベクトルデータベース』という言葉に出くわす」。AIアプリ開発を始めたばかりのエンジニアや、技術選定を任されたアーキテクトなら、一度はこう感じたことがあるのではないでしょうか。 ベクトルデータベース（ベクトルDB）は、RAG（Retrieval-Augmented Generation、検索拡張生成）において、社内文書やWebページといった外部知識を「意味の近さ」で検索できる形に変換して貯めておく、いわばAIの記憶装置です。AWSの解説でも、RAGは外部データを埋め込みモデルで数値表現に変換してベクトルデータベースに保存し、質問時にはその類似度で関連情報を引き出す仕組みとして説明されています。ベクトル検索を前提とするRAG構築では、この部分の理解が全体像を把握する鍵になります。 ところが、いざ学ぼうとすると2つの壁が立ちはだかります。1つ目は、埋め込みや類似度検索といった基礎概念の解説が断片的で、全体像が掴みにくいこと。2つ目は、Qdrant・pgvector
14 min read
AI・テクノロジー

構造化出力はLLMの推論を壊すのか？「structure tax」の正体と、精度を落とさないスキーマ設計

はじめに — 「JSONにすると賢さが落ちる」という現場の感覚 LLMを本番システムに組み込むとき、出力を自由文のまま受け取ることはほとんどありません。下流のプログラムが値を取り出せるように、あらかじめ決めた形式に従わせる必要があります。JSONスキーマやXMLタグのように、モデルの生成を特定の構文に縛る手法を**構造化出力（structured output）**と呼びます。関数呼び出し（tool calling）やエージェントのツール選択も、この仕組みの上に成り立っています。 ところが、この構造化を施した途端にモデルの答えが怪しくなる、という感覚が現場では広く共有されてきました。これは単なる印象ではありません。Tam et al. (2024) は「Let Me Speak Freely?」において、JSONやXMLで出力を制約するとLLMの推論能力が有意に低下し、制約が厳しいほど劣化が大きいと報告しています。この損失は、構造化という行為そのものに課される避けがたい代償——structure tax（構造化税）——だと考えられてきました。生成空間を狭めれば、モデルが本来使えたは
28 min read
AI・テクノロジー

強化学習の「足し算」をやめる — トロピカル強化学習（Tropical RL）が解く構成的推論の壁

はじめに：モデルが「一度も出したことのない正解」を出せるようにする 大規模言語モデル（LLM）は、推論に必要な部品をすでに持っているのに、それらを1本の解答に組み立てられないことがある。たとえば「97−40」と「14−11」をそれぞれ単独では正しく計算できるモデルが、その2つを続けて行う (97−40)/(14−11)=19 のような問題になると、途端に失敗する。この「部品はできるのに、その合成ができない」現象を構成的推論（compositional reasoning）のギャップと呼ぶ。 現在の標準的な対策は、検証可能報酬による強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）である。正解を機械的に検証できるタスクで多数の解答をサンプリングし、検証器が通した軌跡だけを強化する。しかし報酬は、軌跡が始めから終わりまで一括で生成されて初めて与えられる。そのため途中まで正しく進んだ断片は、最後の一手で失敗した瞬間にまとめて捨てられてしまう。 本記事で扱う論文の主張は一行にまとめられる。代替となる解をまとめ上げる演算を「
23 min read
AI・テクノロジー

Googleがオープンソースバグ報奨金を凍結――AI生成の偽脆弱性報告「AIスロップ」急増とバグバウンティの構造的危機

Googleが2026年10月1日付でオープンソース脆弱性報奨金（OSS VRP）の製品バグ受付を2027年まで一時凍結しました。LLMが生成した動かないPoCやハルシネーションによる虚偽報告（AIスロップ）が殺到し、審査体制が破綻した背景と、バグバウンティ制度が直面する構造的危機を徹底解説します。
12 min read
AI・テクノロジー

オープンウェイトLLMは「Kali Linux」をまだ使いこなせない——正確なコマンド生成は42%未満、実行なしで検証できるベンチマーク「KaliBench」

はじめに：AIエージェントにセキュリティツールを任せられるのか セキュリティ運用の現場では、分析者が頭に描いた「意図」を、実際に動くコマンドへ翻訳する作業が日常的に発生します。たとえば「このサブネットのSMB設定不備を洗い出す」「取得したメモリイメージから侵入の痕跡を抽出する」といった要求は、そのままでは実行できません。Nmap、Metasploit、Volatility、John the Ripper といった個々のツールを選び、フラグと引数を組み立てて初めて、作業は実行可能な一連のコマンドになります。 この翻訳作業をLLM（大規模言語モデル）に任せる動きが進んでいます。エージェントに偵察や調査を委ねれば、人手の負担を減らせるという期待があります。しかし「LLMは本当に、そのまま実行できる正確なコマンドを書けるのか」という問いは、これまでほとんど測定されてきませんでした。知識を問うテストでは概念理解しか分からず、CTFのような実環境タスクでは計画・操作・エラー回復が混ざり合って、失敗の原因を切り分けられないからです。 本記事で扱う論文「KaliBench」は、この問いに正面から
29 min read
AI・テクノロジー

SFTはRLに負けない——MCMCサンプリングで「オフポリシーな専門家データ」をオンポリシー化する新手法

はじめに：ポストトレーニングの「常識」が揺らいでいる 大規模言語モデル（LLM）の能力を伸ばすポストトレーニング（事前学習を終えたモデルに追加学習を行う工程）では、主に2つの手法が使われてきた。1つはSFT（Supervised Fine-Tuning、教師ありファインチューニング）で、人手や高性能モデルが用意した模範解答をそのまま模倣させる。もう1つはRL（強化学習）で、モデル自身が生成した解答に報酬を与え、正解に近づくよう方策を更新する。 ここ数年、この2つについて「RLは新しいタスクに強く汎化し、既存の能力も壊さない。一方SFTは汎化が弱く、破滅的忘却（catastrophic forgetting）——新しいことを学ぶうちに以前できていたことができなくなる現象——を起こしやすい」という通説が広く共有されてきた。この差は、学習に使うデータがオン・ポリシーかオフ・ポリシーかで説明される。オン・ポリシーとはモデル自身が生成したデータで学ぶことを指し、更新がモデル分布の近傍にとどまるため挙動が急変しにくい。オフ・ポリシーとは別のモデルや人手が作った外部データで学ぶことを指し、分布の
15 min read
AI・テクノロジー

AIエージェントチームは「組織の仕方」を学べるか —— Self-Organizing Agent Teamsが見せた集合知の新しい設計

はじめに：なぜ「チームの組織」がAIの性能を左右するのか 大規模言語モデル（LLM）の性能は世代ごとに上がり続けている。しかし、単体モデルの能力を高めるだけでは越えられない壁がある。正解の構造が事前に分からない問題——たとえば初見の数学オリンピック問題や大学院レベルの科学問答——では、どれほど強いモデルでも一人で完全解にたどり着けないことがある。 そこで複数のAIエージェントを組ませる発想が広がってきたが、既存手法の多くは「誰が何を担当するか」を人間があらかじめ決めておく。役割分担、投票による集約、問題ごとのモデル選択（ルーティング）はその典型だ。ところが、有用な分業の形そのものが未知である問題では、この前提が崩れてしまう。あらかじめ決めた分担が噛み合わないのに、その枠組みの中で議論を重ねても、正しい少数意見が埋もれていくだけになりかねない。 人間のチームは違う。最初から完璧な役割表があるわけではないが、協働の経験を通じて「誰に何を任せるとうまくいくか」を少しずつ学んでいく。本記事で扱う論文「Self-Organizing Agent Teams（SAT、自己組織化エージェントチ
24 min read
AI・テクノロジー

LLMの嘘発見器——「知らない」と「知っていて隠す」を内部状態から見分けるPIRの仕組み

LLMが「知らない」のか「知っていて隠す」のかを、内部状態から見分けるPIR（Probe of Internal Recognition）。法科学の秘密情報検査をモデルの活性化に移植し、参照モデルも正解コーパスも不要で8モデル・5系統のbalanced accuracy 0.70〜0.87を達成。隠蔽と消去の境界を数値で示した意味と、sandbagging監査・アンラーニング検証への応用を解説する。
23 min read
AI・テクノロジー

LLMが書いたGPUカーネルは実ワークロードにどれだけ届くのか——「PyTorch超え」の裏側を測る

はじめに：LLMは本当にPyTorchを超えたのか 2025年以降、LLMにGPUカーネルを書かせる研究が増え、「PyTorchより速いカーネルを生成した」という報告が相次いでいる。そうした主張を測る代表的な評価基盤がKernelBenchで、250のPyTorchワークロードの正しさと速度を自動採点する。しかし「カーネル単体が速い」ことと「実モデル全体が速くなる」ことは別問題だ。実行時間の3%しか占めない演算を2倍速くしても、全体は1.5%しか速くならない。先に結論を示すと、フロンティアモデルは競争力のあるカーネルを書くものの、Transformerでの改善はおよそ1%、推薦モデルでは約8.6%にとどまる。対象領域によって「届く範囲」は6倍以上違うのである。 なぜ「ベンチマークの数字」だけでは意味がないのか アムダールの法則とは、「一部分だけを高速化しても、全体の速度はその部分が実行時間に占める割合を超えては改善しない」という原理だ。改善幅は「速度向上倍率σ」と「実行時間シェアs」の掛け算で決まり、エンドツーエンド改善率 = Σ s_i × (1 − 1/σ_i) と表せる。
7 min read
AI・テクノロジー

UnitBoost：複合LLMシステムの「管理役」はLLMである必要があるのか——生成モデルを決定的なマージ演算子で置き換える

はじめに：複数のLLMを束ねるシステムに潜む「見えない管理者」 複合LLMシステム（compound LLM system）とは、1回のモデル呼び出しで答えを出すのではなく、複数の呼び出しの結果を組み合わせて最終的な答えを組み立てる仕組みを指す。たとえば、検索した複数の文書を別々のワーカーに読ませて多段の質問に答えるRAGのマルチホップ質問応答、複数モデルの案を1つに統合するMixture-of-Agents、複数のエージェントに議論させて合意を取るマルチエージェント・ディベート、自分の出力を批評して書き直す自己改良ループなどがこれにあたる。いずれも「複数の案をどう1つに畳むか」という共通の問題を抱えている。 こうしたシステムには、必ず「管理者（manager）」がいる。管理者の仕事は次の3つの決定に整理できる。 決定 問い 具体例 統合（assembly） ワーカーの部分結果をどう最終出力にまとめるか 3つの候補からどの答えを採用するか 配分（allocation） 未解決の部分に次の呼び出しをどう割り当てるか 欠けている項目を誰に調べさせるか 停止（
28 min read
AI・テクノロジー

LLMデコンパイラは「コンパイルが通る」ほど正しくない——再コンパイル可能性が隠す挙動乖離と、脆弱性が「消える」問題

LLMデコンパイラは「ビルドが通る・同梱テストが通る」だけで評価されていますが、新研究はビルド率が上がるほど挙動一致率が下がる逆説を実証。公開済み脆弱性の最大1割がデコンパイルで「消える」問題を、Decompile-Divergeの仕組みとともに解説します。
14 min read
AI・テクノロジー

推論トークンは本当に元を取れるのか？——LLMの「考えるコスト」を測る Token Economy Score（TES）

はじめに：精度だけでは見えない「推論税」 同じ質問を投げかけても、推論モデル（reasoning model）は回答の前に思考チェーン（thinking chain）と呼ばれる内部の「考える」過程を生成するため、指示追従モデルの数倍から数十倍のトークンを消費します。精度は確かに上がりますが、その代償——本記事では「推論税（reasoning tax）」と呼びます——を定量的に測る指標は、これまでほとんど提供されてきませんでした。 精度だけを比較する「Accuracy-only benchmarking（精度のみのベンチマーク）」は、システムを実際に運用する現場の問いに答えられません。フロンティア推論モデルのベンチマーク評価1回に2,700ドル超がかかる事例が報じられるようになり、「このタスクで推論をONにすると精度1ポイントあたりいくら払うのか」「努力量を上げれば本当に得をするのか」といった費用対効果の判断が、無視できない課題になっています。 本記事は、Lenovo ISGによる実測研究（151件のモデル×ベンチマーク評価、7ベンチマーク、8モデルファミリー。TPCTC 2026
18 min read
AI・テクノロジー

「校正済みで知るには十分、行動には不十分」──捏造された証拠がLLMエージェントを知り得ない未来に賭けさせる

はじめに：LLMエージェントの「自信過剰」という根本問題 大規模言語モデル（LLM）を中核とするAIエージェントが、市場予測、データ分析、意思決定支援といった実世界のタスクに急速に導入されています。しかし、これらのエージェントが「自分の知識の限界を正しく認識し、判断を控えるべき場面で控えられるか」という問題は、依然として解決されていません。 これまでLLMの「校正（キャリブレーション）」研究は、モデルが自身の確信度と実際の正解率をどの程度一致させられるかに焦点を当ててきました。既存研究によれば、多くのフロンティアモデルは確率推定こそそこそこ正確に行えますが、その確信度を「行動に移すべきかどうか」の判断に正しく反映できていません。本論文「Calibrated Enough to Know, Not Calibrated to Act」が核心的に問うのは、「知っているかどうか」の認識と「行動するかどうか」の判断がLLM内部で別々のプロセスとして処理されているという点です。後者のプロセス——行動/不行動ゲート——が特に脆弱であり、権威ある形式で提示された証拠（たとえその内容が完全な捏造で
12 min read
AI・テクノロジー

AIエージェントたちが数学の新定理を発見——「The Station」が示す自律研究の現在地

はじめに：AIによる数学研究の新たなステージ AIが数学の定理を「発見する」時代が近づいています。これまでのAI数学研究は、AlphaEvolveに代表される大規模進化探索が主流でした。大量の計算資源で数値的な構成を探し、その解釈や証明は人間の数学者が担う「中央集権型パイプライン」だったのです。つまり、探索の方向づけや検証には常に人間の介入が必要でした。 そこで研究者たちは「AIエージェントを独立した研究者として扱い、人間の介入なしに自由な環境で協働させたらどうなるか」と問いかけました。この問いから生まれたのが、オープンワールド型マルチエージェント環境 「The Station」 です。 The StationにはGPT-5.5、Claude Opus 4.8、Gemini 3.1 Proという異なるモデルファミリーから6体のエージェントが配置され、中央のコーディネーターは存在しません。本記事では、The Stationが生み出した5つの数学的発見と協働メカニズムを紹介します。 The Stationの仕組み——ミニチュア科学コミュニティ The Stationは、現実の研
8 min read
AI・テクノロジー

「ニュートラルな評価ハーネス」は存在しない——LLMリーダーボードは「設定にもろい設問」によって作られている

はじめに：リーダーボードの数字を信じて大丈夫か？ AIモデルの性能比較といえば、MMLU（大規模マルチタスク言語理解）やARC（推論チャレンジ）といった多肢選択ベンチマークのスコアを見るのが半ば常識になっている。Hugging FaceのOpen LLM Leaderboardをはじめ、多くのリーダーボードがこれらの数値でモデルをランキングし、開発者や企業のモデル選定に影響を与えている。しかし、その数字は本当に「モデルの実力」を正しく反映しているのだろうか。 実は、同じモデル、まったく同じ設問を使ったとしても、「評価の実行方法（ハーネス）」のわずかな違いでスコアが大きく変動することが知られてきた。従来の研究では、この問題は「集計スコアの分散」として報告されるに留まっており、どの設問がどれだけ影響を受けているかはブラックボックスのままであった。 本稿で紹介する研究（Parupudi, 2026）は、ハーネスの設定を独立変数として扱い、設問単位での影響を初めて体系的に分解した点で決定的に異なる。12のオープンウェイト命令チューニング済みLLMに対し、3,679問の設問を26通りの「同
15 min read
AI・テクノロジー

Anthropicが解説したClaudeの「見えない透かし」——LLM出力のテキストウォーターマークはどう機能するのか

はじめに 2026年8月14日、Anthropicは公式記事「How Claude's text watermarking works」を公開し、Claudeが生成するテキストに機械的にのみ読み取れる「見えない透かし（テキストウォーターマーク）」を将来のClaudeモデルに搭載する方針と、その仕組みを詳細に説明しました。 多くの人が「透かし」と聞いて想像するのは、お札に入っているような隠し文字や、コピー防止のための特殊なパターンでしょう。しかしClaudeの透かしはまったく違います。ゼロ幅文字のような不可視文字も、隠しコードも、一切挿入されません。テキストそのものはどこにも手を加えず、「単語選びの統計的なクセ」によってだけ印を付ける——これが今回の方式の核です。 導入の背景としてAnthropicが説明するのが、EU AI Act第50条(2)の透明性規定です。2026年8月2日からEU市場においてAI生成コンテンツの機械可読なマーキングが求められるようになり（対象となるAIシステムの提供者・適用範囲・移行期間の区別はEU公式FAQを参照）、Anthropicも他の主要AI事業者
13 min read
AI・テクノロジー

Gemini 3.7 Flashが提示するハイブリッド推論の未来——思考の動的制御とAIエージェント時代の価格破壊

Googleが前世代からわずか3週間で発表した最新主力モデル「Gemini 3.7 Flash」は、思考の深さを動的制御するThinking Levelsと圧倒的なコーディング・エージェント性能を兼ね備えた新世代AIです。ベンチマーク検証やAPI変更点、半額プロモーションがもたらす開発エコシステムの地殻変動を徹底解説します。
8 min read
AI・テクノロジー

StripeがOpenRouterを70億ドル超で買収報道：AIゲートウェイが決済インフラに飲み込まれる日

2026年8月16日、BloombergがStripeによるOpenRouter買収合意を報じた。取引額は70億ドル超（約1兆1000億円）。400超のモデルを単一APIで呼び分けるAIゲートウェイが、なぜ決済企業に買われるのか。トークン課金という新しい決済レイヤーの誕生と、ロックイン回避ツールが単一ベンダー傘下に入る皮肉を読み解く。
6 min read
AI・テクノロジー

LLM推論の「見えないメモリ問題」を解く：トークンレベル仮想化でKVキャッシュを再利用可能にする「vToken」

LLM推論はなぜメモリで詰まるのか：KVキャッシュの正体 LLM（大規模言語モデル）の推論がメモリ不足で詰まる最大の原因は、モデル本体ではなく「KVキャッシュ（Key-Value Cache）」にある。KVキャッシュとは、推論中に過去トークンそれぞれのKeyベクトルとValueベクトルを保持するメモリ領域のことだ。LLMはトークンを1個生成するたびに、それまでの全トークンとの関連度を注意機構（Attention）で計算する。このとき過去分のKey/Valueを毎回再計算すると計算量が爆発するため、一度計算した値をキャッシュに保存し、新規トークン分だけを追加計算する仕組みになっている。KVキャッシュがなければ、生成のたびに過去全体を再計算するか、文脈を無視した推論に退化してしまう。つまり、これはLLM推論に必須のメモリ領域である。 問題はサイズの増え方にある。KVキャッシュの容量は「シーケンス長×バッチサイズ×レイヤー数×隠れ次元×2（KとV）×精度バイト数」で近似でき、シーケンス長とバッチサイズに比例して線形に増加する。例えばLlama-2 7B（32層・隠れ次元4,096）をFP
15 min read
AI・テクノロジー

情報過多のパラドックス：長いコンテキストで学習したLLMは「知識を内在化」しなくなる

はじめに：無限コンテキストは本当に万能なのか？ 「コンテキストウィンドウを拡張すればするほど、モデルの性能は向上する」──この前提は、近年のLLM開発においてほぼ自明のものとして受け入れられてきた。GPT-4が128Kトークン、Claudeが200Kトークン、Geminiが1Mトークンへとコンテキスト長を競うように伸ばしてきた背景には、「長い文脈を扱える＝より賢いモデル」という暗黙の信念がある。 しかし、2026年にJohns Hopkins大学のArda Uzunoglu、Benjamin Van Durme、Daniel Khashabiが発表した論文「Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge」は、この前提に根本的な疑問を投げかける。彼らはまず、既存の長コンテキストモデルに注目した。Phi-3の14Bモデルでは、128Kトークン版が4Kトークン版を多くのベンチマークで下回り、OLMo 3の32Bモデルでも65Kトークン版が8Kトークン版に劣るという結果
19 min read
AI・テクノロジー

Trie Automata：大規模有限集合に対する制約デコーディングの新境地 — LLMのツール選択・分類タスクを100倍高速化する技術

はじめに：LLMの「構造化出力」とenumの壁 大規模言語モデル（LLM）をプロダクションで運用する際、モデルが出力するテキストを特定の形式に制限したい場面は少なくない。JSONスキーマに従ったデータ抽出、ツール選択時の関数名の指定、分類タスクでのカテゴリ名の出力——これらの要求に応える技術が「制約付きデコーディング（constrained decoding）」である。各トークン生成ステップにおいて、文法やスキーマに合致するトークンのみに候補を絞り込むマスキング処理により、構造化された出力を保証する。 現在、Outlines、XGrammar、SGLangなどの主要な制約デコーディングエンジンは、任意の文脈自由文法やJSONスキーマを処理できる汎用有限状態機械（FSM/DFA）を採用している。これらのエンジンは複雑なネスト構造や再帰的スキーマを扱うには優れているが、単純な有限集合、すなわちenum（列挙型）からの選択に対して同じ汎用パイプラインを適用するのは、本質的なミスマッチを抱えている。 このミスマッチが顕在化するのが、enumの要素数Kが増加した時である。「カーディナリティ
15 min read
AI・テクノロジー

Grok 4.6が総合61でGPT-5.6 Sol Maxに並ぶ——領域で割れたベンチマークの読み方

SpaceXAIが2026年8月12日に発表したGrok 4.6は、9指標を合成したArtificial Analysis Intelligence Indexで61を記録し、GPT-5.6 Sol Maxと同点に並んだ。だが個別ベンチマークを開くと勝敗は領域ごとに割れている。長時間稼働のエージェント作業に特化したこのモデルが示す、フロンティアLLM競争の新しい構図を読み解く。
8 min read
AI・テクノロジー

LLMは「ハノイの塔」を解けないのか？——Transformerは世界モデルを作ったのに、それを使いこなせない「思考の錯覚」の正体

1. はじめに 本記事は、2026年8月にarXivに投稿された論文「Transformers Struggle to Use Their Emergent World Representations」を詳しく読み解くものです。この論文をひと言でいうと、「LLMは自分で作った世界モデルを使いこなせていない」という衝撃の事実を、ハノイの塔という古典的パズルを使って実証した研究です。 著者らは、Transformerがハノイの塔の状態遷移を解く過程で、内部に明確な「世界モデル」を構築していることを発見しました。それにもかかわらず、その世界モデルを実際の推論に活用できていない——この現象を彼らは「思考の錯覚（Illusion of Thinking）」と名付けています。 本記事では、この論文が示す「LLMの知られざる限界」を、図解を交えながら詳しく解説していきます。 2. ハノイの塔とは──なぜLLMにとって難問なのか ハノイの塔は、3本の杭と大きさの異なる複数の円盤を使う古典的なパズルです。ルールはシンプルで、「1回に1枚だけ動かせる」「小さい円盤の上に大きい円盤を置けない」の
9 min read