位置エンコーディングとは
Transformerは文章中の単語をすべて同時に処理するため、そのままでは単語がもともと何番目にあったかが分からなくなってしまう。この弱点を補うために使われる仕組み。
生成AIパスポート公式シラバス(2026年2月試験より適用)第2章「生成AI(ジェネレーティブAI)」の収載語です。
まず1問、解いてみる
答えを開く前に、自分の言葉で説明してみてください。
Transformerが「位置エンコーディング」という仕組みを使うのは、何を保つためですか。
- A文中での単語の順序の情報
- B単語ごとの重要度の得点
- C学習に使ったデータの出典
- D利用者が入力した個人情報
答えと解説を開く
正解A 文中での単語の順序の情報
Transformerは単語を一度にまとめて処理するので、そのままでは語順が失われます。そこで位置エンコーディングで「何番目の語か」を持たせます。誤答の「重要度の得点」はAttention(どの語に注目すべきかを点数にする仕組み)の役目で、別の話です。
同じ選択肢に並んだ語(区別して覚える)
当サイトの問題で、位置エンコーディングと同じ選択肢の欄に並んだ語です。
- ファインチューニング=学習済みモデルに追加データを与え、新しい目的向けに仕上げの調整をする手法。
- Attention Mechanism=文中のどの単語がどれくらい重要かに得点をつけて重視する処理のこと。
- RLHF=人間の評価をもとにAIの答えを望ましい方向に学習させる仕組み。
- 自己注意力(Self-Attention)
ありがちな誤解と訂正
当サイトの問題「Transformerは文章中の単語をすべて同時に処理するため、そのままでは単語がもともと何番目にあったかが分からなくなってしまう。この弱点を補うために使われる仕組みはどれか。」の誤答の選択肢から。
×Attention Mechanism(それぞれの単語がどれくらい重要かに得点をつける仕組み)
○Attention(注意)の仕組み=文中のどの単語がどれくらい重要かに得点をつけて重視する処理のこと。
この問題の正解=「位置エンコーディング(各単語がもとは何番目にあったかを数値として付け加える工夫)」
同じ問題に登場した語
当サイトでの登場(実測)
当サイトの問題バンク321問のうち、位置エンコーディングは3問に登場します。 内訳=意味を直接問う問題1問・問題文に登場1問・ひっかけ役(誤答の選択肢)1問。このほか、解説・誤答の注だけでの言及が1問あります(これは「問われた」に数えていません)。
登場した単元=第2章 生成AI(ジェネレーティブAI)
※この数字は当サイトの問題バンク内の集計です。本試験の出題頻度ではありません。
演習に進む
最終更新:(運営:Meritorious)
パスポーン