キーワードの意味
推論は、モデルの重みを更新する学習とは別に、学習済みの知識を使って実際の入力へ答えを返す段階です。速度、メモリ、出力の安定性などがサービス設計の重要な要素になります。
たとえば、こんな場面で
利用者のプロンプトをLLMへ送り、回答トークンを順番に生成して画面へ表示します。
このキーワードが登場する用語
このキーワードをより詳しく知りたいときは、元になった用語ページも読んでみてください。
Inference
推論とは？
学習済みモデルへ新しい入力を渡し、予測・分類・生成の結果を得る処理。