キーワードの意味
Attentionは、文章などの各要素どうしの関連度を計算し、現在の処理に重要な情報へ重みを付けます。Transformerの中心的な仕組みとして、離れた語の関係も効率よく扱えるようにしました。
たとえば、こんな場面で
『彼が本を読んだ。それは面白かった』という文で、『それ』が本を指す関係を文脈から捉えます。
このキーワードが登場する用語
このキーワードをより詳しく知りたいときは、元になった用語ページも読んでみてください。
Attention Mechanism
Attentionとは？
入力のどの部分を重視するかを計算し、文脈の関係を扱う仕組み。