キーワードの意味
自己教師あり学習は、人が一つずつ正解を付けなくても学べるように、データの一部を隠して当てさせるなどの課題を作ります。LLMの事前学習では、文脈から次のトークンを予測する課題が代表例です。
たとえば、こんな場面で
文章の一部をマスクし、前後の文脈から欠けた語を予測させて言葉の使われ方を学習します。
このキーワードが登場する用語
このキーワードをより詳しく知りたいときは、元になった用語ページも読んでみてください。
TERMLLM（大規模言語モデル）大量の言語データなどで学習し、文章の生成や要約を行うモデル。TERM事前学習個別の用途に適応させる前に、広いデータから基礎的なパターンを学ぶこと。TERMトークンモデルが文章を処理するときに使う、文字や単語の一部などの単位。TERMディープラーニング多層のニューラルネットワークを使って、複雑な特徴を学ぶ機械学習。TERMAIモデルデータから規則や表現を学び、入力に対して予測・分類・生成などの出力を返す計算モデル。TERMアルゴリズム入力を処理して目的の結果へ到達するための、有限な手順や計算方法。TERMクラスタリング正解ラベルを使わず、データの似たもの同士をグループに分ける教師なし学習。TERM自己回帰モデルこれまでの要素を条件にして、次の要素を一つずつ予測・生成するモデル。TERMMoE（Mixture of Experts）入力ごとに一部の専門ネットワークだけを選んで計算する、疎なモデル構成。TERMオープンウェイトモデル学習済みモデルの重みを公開し、利用者が自分の環境で実行・調整できるモデル。