パスポーン

用語解説 / 第2章 生成AI（ジェネレーティブAI） / BERTモデル

BERTモデルとは

文章を作り出すことより意味を読み取ることを得意とし、RoBERTaやALBERTという改良版があるモデル。

生成AIパスポート公式シラバス（2026年2月試験より適用）第2章「生成AI（ジェネレーティブAI）」の収載語です。

まず1問、解いてみる

この語が登場する、当サイトの問題です。

文章のように前後のつながりがある時系列データ(シーケンスデータ)を扱うRNNやLSTMの弱点(長い文章では前の情報を忘れやすいこと)を、Attention(注意)の仕組みで解決した、現在の生成AIの主流となっているモデルはどれか。

  • ALSTM(長・短期記憶)
  • BTransformerモデル
  • Cボルツマンマシン(確率的な計算で学習する初期の生成モデル)
  • DCNN(畳み込みニューラルネットワーク)
答えと解説を開く

正解B　Transformerモデル

RNNやLSTMは、文章のように前後のつながりがあるデータ(シーケンスデータ)を順番に処理しながら覚えていく仕組みですが、文章が長くなると前の方の情報を忘れやすいという弱点がありました。文章全体のどこが重要かを一度に見比べる仕組み(Attention＝注意)を土台に据えることでこの弱点を解いたのが、いま生成AIの主流になっているTransformerモデルです。ここからは、文章の生成が得意なGPTモデルのほか、穴埋め問題を解く学習(MLM)で文章の理解を得意にしたBERTモデル(改良版にRoBERTaやALBERT)も生まれました。

この問題を含む一問一答で続きを解く

同じ選択肢に並んだ語（区別して覚える）

当サイトの問題で、BERTモデルと同じ選択肢の欄に並んだ語です。

  • GPTモデル＝次に来る単語を予測しながら、文章を作り出すことを得意とするモデル。
  • Transformerモデル＝文中の単語同士の関係を一度に見比べて処理する、今の生成AIの基盤の仕組み。
  • VAE（変分自己符号化器）＝データを一度圧縮し、元に近い新しいデータを作り出す生成AIの仕組み。

ありがちな誤解と訂正

当サイトの問題「文章を作り出すことより意味を読み取ることを得意とし、RoBERTaやALBERTという改良版があるモデルはどれ？」の誤答の選択肢から。

×GPTモデル

○GPTモデル＝次に来る単語を予測しながら、文章を作り出すことを得意とするモデル。

この問題の正解＝「BERTモデル」

同じ問題に登場した語

当サイトでの登場（実測）

当サイトの問題バンク321問のうち、BERTモデルは1問に登場します。 内訳＝意味を直接問う問題1問。このほか、解説・誤答の注だけでの言及が1問あります（これは「問われた」に数えていません）。

登場した単元＝第2章 生成AI（ジェネレーティブAI）

※この数字は当サイトの問題バンク内の集計です。本試験の出題頻度ではありません。

演習に進む

用語の選定＝GUGA「生成AIパスポート試験シラバス」（2026年2月試験より適用）収載の詳細キーワードに準拠。 定義・解説・問題＝すべて当サイト（パスポーン）が執筆したオリジナルで、この頁の文はすべて当サイトの問題データからの逐語です。 当サイトはGUGA非公認の独立した学習サイトです。

最終更新：（運営：Meritorious）