読み方：ロベルタ

RoBERTa【Robustly Optimized BERT Pretraining Approach】

概要

RoBERTaとは、大量のテキストデータを用いて事前学習された自然言語処理モデルの一種で、既存の言語モデル BERTを改良し、より大規模な学習と最適化によって性能を高めたモデル。文章の意味理解や分類、質問応答などのタスクに利用される深層学習モデルの一つである。

2019年にフェイスブック AI研究所（現Meta AI）が開発したモデルで、当時既に広く利用されていた「BERT」（Bidirectional Encoder Representations from Transformers）の学習方法を再検討し、より効果的な訓練手法を導入することで性能向上を図ったモデルである。

BERTは文脈を双方向から理解する仕組みを持つ言語モデルとして知られていたが、RoBERTaはその基本構造を維持しつつ、訓練データ量や学習手順を大幅に改善した点が特徴である。事前学習に用いるテキストデータを大幅に増やし、より長時間の学習を行うことで言語表現の理解能力を高めている。

BERTで用いられていた「次文予測」（NSP：Next Sentence Prediction）と呼ばれる学習課題を廃止し、主に「マスク言語モデル」（MLM：Masked Language Model）と呼ばれる学習方式に集中することで効率的な学習を実現している。さらに、学習のたびに異なる単語をマスクする「動的マスキング」と呼ばれる手法を導入し、モデルの汎化性能を向上させている。