知識蒸留と効率的推論の手法

序論：効率的推論の必要性

大規模言語モデル（LLM）の実用的展開において、推論効率（inference efficiency）は技術的・経済的に最も重要な課題の一つである。数百億から数千億パラメータを有するモデルは、推論時においても膨大な計算資源とメモリを要求し、レイテンシ、スループット、エネルギー消費、およびデプロイメントコストの観点から深刻な制約となっている。

この課題に対処するため、知識蒸留（Knowledge Distillation）、量子化（Quantization）、プルーニング（Pruning）、投機的デコーディング（Speculative Decoding）等の多様な手法が研究されている。これらの手法は、モデルの性能を可能な限り保持しつつ、計算コストを大幅に削減することを目的とする。

本稿では、これらの効率化手法の理論的基盤を数理的に分析し、実践的な適用手法を体系的に解説する。特にLLMの文脈における各手法の特性、制約、および組み合わせ戦略に焦点を当て、効率的なAIシステム設計の学術的指針を提供する。

知識蒸留の理論的基盤

知識蒸留（Knowledge Distillation; KD）は、大規模な教師モデル（teacher model）の知識を、より小規模な生徒モデル（student model）に転移する手法であり、Hinton et al.（2015）による先駆的研究に端を発する。

教師モデルの出力分布（ソフトラベル）は、ハードラベル（正解クラスのone-hot表現）と比較して、クラス間の類似性構造に関するはるかに豊富な情報を含んでいる。この「暗黙知」（dark knowledge）の転移が、知識蒸留の本質である。

標準的な知識蒸留の損失関数は、温度付きソフトマックスに基づくKLダイバージェンスとハードラベルに対するクロスエントロピーの加重和として定義される：

L_KD = α · T² · D_KL(σ(z_t/T) ‖ σ(z_s/T)) + (1−α) · CE(y, σ(z_s))

ここで z_t と z_s はそれぞれ教師と生徒のロジット、T は温度パラメータ、σ はソフトマックス関数、α はバランス係数である。温度 T を高く設定することで、ソフトマックス分布が平滑化され、教師の暗黙知がより効果的に伝達される。T² のスケーリングは、温度上昇に伴う勾配の減衰を補償する。

LLMの文脈における知識蒸留は、従来の分類タスクとは異なる特有の課題を伴う。自己回帰生成モデルでは、各トークン位置における語彙全体（32K〜128Kトークン）にわたる分布の転移が必要であり、計算コストが非常に高い。さらに、教師モデルと生徒モデルの語彙サイズやトークナイザが異なる場合、分布の直接的な比較が困難となる。

DistilBERT（Sanh et al., 2019）は、BERTの知識蒸留の先駆的研究であり、6層のTransformerが12層のBERTの性能の97%を達成した。TinyBERT（Jiao et al., 2020）は、注意行列と中間層の表現を直接的に蒸留対象とする手法を提案し、より深い知識転移を実現した。

LLMにおける知識蒸留の実践

LLM時代における知識蒸留は、伝統的なロジットベースの蒸留に加えて、多様な形式の知識転移を包含する広義の概念に拡張されている。

合成データ蒸留（Synthetic Data Distillation）は、教師モデルが生成した高品質なテキストデータで生徒モデルを訓練する手法であり、現在のLLM蒸留において最も広く採用されているアプローチである。Alpaca（Taori et al., 2023）はGPT-3.5の出力52Kサンプルで7BモデルをSFTし、Vicuna（Chiang et al., 2023）はShareGPTの対話データ70Kで同様のアプローチを採用した。Phi系列（Microsoft, 2023-2024）は、合成データの品質と多様性を極限まで追求することで、小規模モデルの性能限界を大幅に引き上げた。

On-policy蒸留は、生徒モデル自身が生成したテキストに対して教師モデルの評価・修正を受ける手法であり、生徒モデルの分布シフト問題を緩和する。GKD（Generalized Knowledge Distillation; Agarwal et al., 2024）は、on-policyサンプリングとoff-policyサンプリングを統合的に扱う枠組みを提案した。

中間層蒸留は、教師モデルの中間表現（隠れ状態、注意パターン）を生徒モデルに転移する手法であり、出力層のみの蒸留よりも豊富な構造的情報の転移を可能にする。ただし、教師と生徒のアーキテクチャ（層数、次元数）が異なる場合、射影層の設計が必要となる。

MiniLLM（Gu et al., 2024）は、自己回帰モデルの蒸留における逆KLダイバージェンスの使用を提案し、生徒モデルがモード崩壊（特定の出力パターンへの過度の集中）を起こすリスクを低減する手法を提示した。

量子化の理論と手法

量子化（Quantization）は、モデルのパラメータや活性値の数値精度を低減する手法であり、メモリ使用量の削減と推論速度の向上を同時に実現する。FP32（32ビット浮動小数点）からFP16/BF16（16ビット）、INT8（8ビット整数）、さらにはINT4（4ビット整数）への量子化が実用化されている。

量子化の数理的基礎は、連続値を離散的な値にマッピングする操作として定義される。対称量子化（symmetric quantization）では：

x_q = round(x / s) , s = max(|x|) / (2^{b-1} − 1)

ここで s はスケーリング因子、b はビット幅である。非対称量子化（asymmetric quantization）では、ゼロポイント z を導入し、値の範囲をより効率的にカバーする。

Post-Training Quantization（PTQ）は、訓練済みモデルに対して追加の訓練なしに量子化を適用する手法であり、実用的な利便性から広く採用されている。GPTQ（Frantar et al., 2023）は、Optimal Brain Quantizer（OBQ）の手法をLLMに適用し、重み行列の各列を順次的に量子化しつつ、量子化誤差を残りの列で補償する。二次誤差 ‖Wx − W_qx‖² の最小化をヘシアン情報に基づいて効率的に行う。

AWQ（Activation-aware Weight Quantization; Lin et al., 2024）は、活性値の統計に基づいて重要な重みチャネルを同定し、そのスケーリングにより量子化誤差を低減する手法である。すべての重みが等しく重要ではなく、活性値の大きいチャネルに対応する重みの量子化が性能に大きく影響するという洞察に基づく。

GGUF（GGML Unified Format）は、llama.cppエコシステムにおける量子化フォーマットであり、CPU推論に最適化された混合精度量子化をサポートする。Q4_K_M、Q5_K_S等の量子化バリアントが提供され、品質と効率の柔軟なトレードオフを可能にする。

Quantization-Aware Training（QAT）は、訓練中に量子化のシミュレーションを行い、量子化誤差に対するロバスト性をモデルに学習させる手法である。Straight-Through Estimator（STE; Bengio et al., 2013）は、離散的な量子化操作の勾配近似に用いられる標準的手法であり、フォワードパスでは量子化を適用し、バックワードパスでは勾配をそのまま通過させる。QATはPTQと比較して高い精度を保持するが、追加の訓練コストを要する。

プルーニングの理論と実践

プルーニング（Pruning; 枝刈り）は、モデルの冗長なパラメータや構造を除去することで、モデルサイズと計算量を削減する手法である。The Lottery Ticket Hypothesis（Frankle & Carlin, 2019）は、密なネットワークの中に、単独で訓練可能な疎なサブネットワーク（「当たりくじ」）が存在することを示し、プルーニングの理論的根拠を強化した。

非構造的プルーニング（unstructured pruning）は、個々の重みパラメータを独立に除去する手法であり、高い疎性率（sparsity ratio）を達成可能である。しかし、一般的なハードウェアでは疎な計算の高速化が困難であり、実際の推論速度の向上は限定的である。NVIDIA A100以降のGPUがサポートする2:4構造疎性（4要素中2要素をゼロに設定）は、ハードウェアレベルでの疎性サポートの一例である。

構造的プルーニング（structured pruning）は、注意ヘッド、FFNのニューロン、あるいはTransformerの層全体を単位として除去する手法であり、標準的なハードウェア上での直接的な高速化を実現する。LLM-Pruner（Ma et al., 2024）は、LLMに対する構造的プルーニング手法であり、重要度推定に基づくグループ単位の除去と短期間の微調整を組み合わせる。

SparseGPT（Frantar & Alistarh, 2023）は、大規模言語モデルに対する効率的な非構造的プルーニング手法であり、GPTQと類似のヘシアンベースの手法で各重みの除去と残存重みの補償を行う。50%の疎性において、性能劣化を最小限に抑えることが報告されている。Wanda（Sun et al., 2024）は、重みの大きさと入力活性値の大きさの積に基づく単純な重要度指標を用いて、キャリブレーションデータなしにワンショットプルーニングを実現する手法である。

層削除（layer removal）は、Transformerの特定の層を丸ごと除去する最も粗粒度のプルーニングであり、Men et al.（2024）は、LLMの中間層の多くが冗長であり、削除しても性能への影響が限定的であることを示した。ShortGPT（Men et al., 2024）は、Block Influence（BI）スコアに基づいて不要な層を同定・除去する手法を提案した。

投機的デコーディング

投機的デコーディング（Speculative Decoding; Leviathan et al., 2023; Chen et al., 2023）は、自己回帰生成の逐次的ボトルネックを緩和する手法であり、小規模なドラフトモデル（draft model）による候補トークン列の高速生成と、大規模なターゲットモデル（target model）による並列的な検証を組み合わせる。

アルゴリズムの核心は以下の通りである。ドラフトモデル M_d が γ トークンの候補列を自己回帰的に生成し、ターゲットモデル M_t がこの候補列全体を単一のフォワードパスで検証する。各トークン位置 i において、受理確率は：

P(accept) = min(1, P_{M_t}(x_i | x_{<i}) / P_{M_d}(x_i | x_{<i}))

この受理-棄却スキームにより、投機的デコーディングの出力分布はターゲットモデルの出力分布と厳密に一致する。すなわち、品質の劣化は理論的にゼロであり、これは量子化やプルーニングと本質的に異なる利点である。

速度向上率は、ドラフトモデルとターゲットモデルの分布の一致度に依存し、典型的には2〜3倍の速度向上が報告されている。ドラフトモデルの選択は重要な設計判断であり、同じファミリーの小規模モデル（例：LLaMA 7B → LLaMA 70B）が一般的に良好な一致度を示す。

Medusa（Cai et al., 2024）は、外部のドラフトモデルを使用せず、ターゲットモデル自身に複数の追加デコーディングヘッドを付加する手法である。各ヘッドは将来の異なる位置のトークンを予測し、ツリー構造の候補列を生成する。tree attention を用いた効率的な検証により、2〜3倍の速度向上を達成する。

EAGLE（Li et al., 2024）は、ターゲットモデルの第二層以降の特徴量を入力として、軽量なオートリグレッシブヘッドで将来トークンの特徴量を予測する手法であり、Medusaを上回る速度向上を報告している。Lookahead Decoding（Fu et al., 2024）は、Jacobi反復法に着想を得た並列デコーディング手法であり、ドラフトモデルを必要としない。

推論サービングの最適化

LLMの推論サービングは、個々のリクエストの処理効率に加えて、多数の同時リクエストを効率的に処理するスループットの最適化が求められる。

Continuous Batching（Orca; Yu et al., 2022）は、静的バッチ処理の非効率性を排除する動的バッチ管理手法であり、各リクエストが生成を完了した時点で即座にバッチから除去し、新しいリクエストを挿入する。これにより、バッチ内の最長リクエストに全リクエストが同期する無駄を排除し、スループットを大幅に向上させる。

PagedAttention（Kwon et al., 2023）は、前述の通り、KVキャッシュのメモリ管理を仮想メモリの概念に基づいて最適化する手法であり、vLLMフレームワークの中核技術である。メモリの断片化を解消し、KVキャッシュの共有（prefix cachingやbeam search等）を可能にすることで、バッチサイズの増大とスループットの向上を実現する。

TensorRT-LLM（NVIDIA）は、GPUに特化した推論最適化エンジンであり、カーネル融合（kernel fusion）、量子化、テンソル並列等の最適化を自動的に適用する。SGLang（Zheng et al., 2024）は、RadixAttention（共通プレフィックスのKVキャッシュ再利用）と構造化生成の最適化を提供する推論フレームワークである。

Disaggregated Serving（Zhong et al., 2024）は、プレフィルフェーズとデコードフェーズを異なるハードウェアで実行する手法であり、各フェーズの計算特性（プレフィルは計算律速、デコードはメモリ帯域幅律速）に最適化されたリソース配分を実現する。

効率的アーキテクチャの設計

推論効率の改善は、事後的な圧縮・最適化のみならず、アーキテクチャ設計の段階から考慮すべき要件である。

Mixture of Experts（MoE; Shazeer et al., 2017; Fedus et al., 2022）は、パラメータ数を増大させつつ各入力に対する活性パラメータ数を一定に保つことで、パラメータ効率と推論効率の両立を実現する。Mixtral 8x7B（Jiang et al., 2024）は、47Bの総パラメータ中、各トークンに対して約13Bのパラメータのみを活性化し、7Bモデルに近い推論コストでより高い性能を達成する。

State Space Models（SSM; Gu et al., 2022; Gu & Dao, 2023）は、系列長に対して線形の計算複雑性を持ち、RNNのような定常的なメモリ消費で推論を実行可能であるため、長系列処理において本質的に効率的なアーキテクチャである。Mamba（Gu & Dao, 2023）は選択的SSMに基づき、入力依存のゲーティングにより、Transformerに匹敵する表現力を達成しつつ線形時間推論を実現する。

ハイブリッドアーキテクチャ——TransformerとSSMの組み合わせ——は、両者の利点を統合する試みとして注目されている。Jamba（Lieber et al., 2024）は、TransformerブロックとMambaブロックを交互に配置し、注意機構による精密な情報検索とSSMによる効率的な状態伝搬を両立させる。

ハードウェア・ソフトウェア協調設計

LLM推論の効率化は、アルゴリズムとハードウェアの協調設計（hardware-software co-design）の観点から理解する必要がある。GPUアーキテクチャの進化（NVIDIA H100/H200/B200）は、Transformer Engine（FP8サポート）、HBM3/HBM3eの大容量高帯域メモリ、NVLink/NVSwitchの高速インターコネクト等の機能を提供し、LLM推論の効率化に直接的に寄与している。

Apple Silicon（M系列チップ）やQualcomm等のSoCは、統合メモリアーキテクチャによりCPU/GPU間のデータ転送オーバーヘッドを排除し、エッジデバイスでのLLM推論を実現している。llama.cppに代表されるCPU推論エンジンは、AVX-512/NEON等のSIMD命令セットと量子化カーネルの最適化により、GPU不要のLLM推論を可能にしている。

NPU（Neural Processing Unit）やカスタムASIC（Google TPU、Groq LPU等）は、Transformer推論に特化したハードウェア設計により、汎用GPUを上回る効率を実現する。特にGroq LPU（Language Processing Unit）は、確定的な推論レイテンシを保証するアーキテクチャ設計により、投機的デコーディング等の手法と相補的な最適化を提供する。

今後の理論的課題と展望

効率的推論の研究には、多くの根本的課題が残されている。第一に、圧縮手法の理論的限界——所与のモデルに対して、性能の劣化なしに達成可能な最大圧縮率の理論的上界——が不明である。情報理論的には、モデルの「知識」のエントロピーが下界を与えるが、この量の推定は困難である。

第二に、異なる効率化手法の組み合わせ（知識蒸留 + 量子化 + プルーニング + 投機的デコーディング）の最適な適用順序と各手法のパラメータ設計に関する統一的な理論が存在しない。実践的にはヒューリスティックな組み合わせが行われているが、体系的な設計指針の確立が望まれる。

第三に、効率化のコストと恩恵の包括的評価——精度劣化、開発コスト、ハードウェア要件、環境負荷等を含むトータルコストの分析——が不足している。Schwartz et al.（2020）が提唱する「Green AI」の観点から、効率化研究は計算効率のみならず、エネルギー効率と環境持続可能性を含む多面的な評価が求められる。

これらの課題への取り組みは、LLMの民主化——より広範なユーザーとデバイスでのLLM利用の実現——に直結するものであり、AI技術の社会的影響を最大化するための不可欠な研究方向である。