もう少し詳しく
高性能なモデルが作った回答などを学習材料に使います。大きなモデルから小さなモデルに能力を移す目的で利用されることがあります。
たとえば、こんな場面で
大きなモデルで作った分類の見本を使い、端末で動かしやすい小さなモデルを学習させます。
覚えておきたいこと
教師と同じ能力がすべて移るわけではなく、用途ごとの評価が必要です。
Knowledge Distillation
蒸留
教師となるモデルの出力や振る舞いを、別のモデルに学習させる方法。
Knowledge Distillation
教師となるモデルの出力や振る舞いを、別のモデルに学習させる方法。
高性能なモデルが作った回答などを学習材料に使います。大きなモデルから小さなモデルに能力を移す目的で利用されることがあります。
大きなモデルで作った分類の見本を使い、端末で動かしやすい小さなモデルを学習させます。
教師と同じ能力がすべて移るわけではなく、用途ごとの評価が必要です。