MLM（Masked Language Model）とは

別表記：Masked Language Model

BERTが行う学習方法のうち、文章の一部の単語を隠して、そこに入る語を当てさせるもの。

生成AIパスポート公式シラバス（2026年2月試験より適用）第2章「生成AI（ジェネレーティブAI）」の収載語です。

まず1問、解いてみる

この語が登場する、当サイトの問題です。

文章のように前後のつながりがある時系列データ(シーケンスデータ)を扱うRNNやLSTMの弱点(長い文章では前の情報を忘れやすいこと)を、Attention(注意)の仕組みで解決した、現在の生成AIの主流となっているモデルはどれか。

ALSTM(長・短期記憶)
BTransformerモデル
Cボルツマンマシン(確率的な計算で学習する初期の生成モデル)
DCNN(畳み込みニューラルネットワーク)

答えと解説を開く

正解B　Transformerモデル

RNNやLSTMは、文章のように前後のつながりがあるデータ(シーケンスデータ)を順番に処理しながら覚えていく仕組みですが、文章が長くなると前の方の情報を忘れやすいという弱点がありました。文章全体のどこが重要かを一度に見比べる仕組み(Attention＝注意)を土台に据えることでこの弱点を解いたのが、いま生成AIの主流になっているTransformerモデルです。ここからは、文章の生成が得意なGPTモデルのほか、穴埋め問題を解く学習(MLM)で文章の理解を得意にしたBERTモデル(改良版にRoBERTaやALBERT)も生まれました。

この問題を含む一問一答で続きを解く

同じ選択肢に並んだ語（区別して覚える）

当サイトの問題で、MLMと同じ選択肢の欄に並んだ語です。

NSP（Next Sentence Prediction）
RLHF＝人間の評価をもとにAIの答えを望ましい方向に学習させる仕組み。
ファインチューニング＝学習済みモデルに追加データを与え、新しい目的向けに仕上げの調整をする手法。

ありがちな誤解と訂正

当サイトの問題「BERTが行う学習方法のうち、文章の一部の単語を隠して、そこに入る語を当てさせるものはどれ？」の誤答の選択肢から。

×NSP（Next Sentence Prediction）

○NSP＝2つの文がつながっているかを当てさせる、もう一つの学習方法。

この問題の正解＝「MLM（Masked Language Model）」

同じ問題に登場した語

強化学習

当サイトでの登場（実測）

当サイトの問題バンク321問のうち、MLMは1問に登場します。内訳＝意味を直接問う問題1問。このほか、解説・誤答の注だけでの言及が3問あります（これは「問われた」に数えていません）。

登場した単元＝第2章生成AI（ジェネレーティブAI）

※この数字は当サイトの問題バンク内の集計です。本試験の出題頻度ではありません。

演習に進む

第2章生成AI（ジェネレーティブAI）一問一答この語が出る問題：#q2060
単元一覧へ

最終更新：2026年8月27日（運営：Meritorious）