RoBERTaとは

BERTの改良モデルのうち、約10倍のデータ量とより長い学習時間を使うことで、言語を理解する能力を高めたモデル。

生成AIパスポート公式シラバス（2026年2月試験より適用）第2章「生成AI（ジェネレーティブAI）」の収載語です。

まず1問、解いてみる

答えを開く前に、自分の言葉で説明してみてください。

文章を作り出すことより意味を読み取ることを得意とし、RoBERTaやALBERTという改良版があるモデルはどれ？

ABERTモデル
BGPTモデル
CTransformerモデル
DVAE

答えと解説を開く

正解A　BERTモデル

答えは「BERTモデル」。文章の一部を隠して当てさせる学習（MLM）と、2つの文がつながっているかを当てさせる学習（NSP）によって、文の意味や前後のつながりを深く読み取ることを得意にしたモデルです。改良版には、より多くのデータと時間で言語理解を高めたRoBERTaと、パラメータ（内部の数値）を大きく減らして軽くしたALBERTがあります。

この問題を含む一問一答で続きを解く

同じ選択肢に並んだ語（区別して覚える）

当サイトの問題で、RoBERTaと同じ選択肢の欄に並んだ語です。

ALBERT（a Lite BERT）
GPT-4＝OpenAI社が公開した、テキストや画像を扱える大規模言語モデル。
CNN（畳み込みニューラルネットワーク）＝画像を小さな範囲ごとに見て輪郭や模様を拾う、画像認識が得意な仕組み。
GAN（敵対的生成ネットワーク）＝贋作を作るAIと見破るAIを競わせて絵や画像を作らせる生成AIの仕組み。

ありがちな誤解と訂正

当サイトの問題「BERTの改良モデルのうち、約10倍のデータ量とより長い学習時間を使うことで、言語を理解する能力を高めたモデルはどれか。」の誤答の選択肢から。

×ALBERT

○BERTを軽量にするモデルで、パラメータの数を大幅に削減している。

この問題の正解＝「RoBERTa」

同じ問題に登場した語

当サイトでの登場（実測）

当サイトの問題バンク321問のうち、RoBERTaは3問に登場します。内訳＝意味を直接問う問題1問・問題文に登場1問・ひっかけ役（誤答の選択肢）1問。このほか、解説・誤答の注だけでの言及が3問あります（これは「問われた」に数えていません）。

登場した単元＝第2章生成AI（ジェネレーティブAI）

※この数字は当サイトの問題バンク内の集計です。本試験の出題頻度ではありません。

演習に進む

第2章生成AI（ジェネレーティブAI）一問一答この語が出る問題：#q2028・#q2059・#q2029
単元一覧へ

最終更新：2026年8月27日（運営：Meritorious）