読み方：じぜんがくしゅう

事前学習【pretraining】プリトレーニング

概要

事前学習とは、機械学習モデルに特定のタスクのための本格的な学習を行う前に、大規模なデータセットを用いて汎用的な知識や特徴を習得させておく工程。主に深層学習において性能向上や学習効率改善のために用いられる。

対象タスクとは異なるが関連性のあるデータや課題を用いてモデルを学習させることで、入力データの基本的な構造や統計的性質を獲得させる。この段階では、教師なし学習や自己教師あり学習が利用されることが多く、ラベル付けコストを抑えつつ大規模データを活用できる。

例えば、画像認識であれば、膨大な画像群から「物体の輪郭」や「色のグラデーション」といった普遍的な視覚的要素をあらかじめ学習しておく。自然言語処理であれば、数兆語に及ぶテキストから、言葉の繋がりや文脈などの要素を理解させておく。これらを土台に、特定の目的を持つ少量の学習データで微調整（ファインチューニング）を施すことで、専門的なタスクに対しても高い性能を発揮できるようになる。

事前学習の大きな利点は、膨大な計算コストとデータが必要な、モデルの「基礎固め」の工程を一度だけ行い、様々な用途に再利用できる点にある。まっさらな状態から学習（スクラッチ学習）する場合に比べて、モデルの重みが既に適切な初期値に近づいているため、学習の収束が早く、データが少なくても過学習を抑えながら精度を安定させることができる。事前学習を行ったモデルを「事前学習済みモデル」と呼び、オープンソースで公開されているものもある。