読み方：じぜんがくしゅうずみモデル

事前学習済みモデル【pretrained model】

概要

事前学習済みモデルとは、大規模なデータセットを用いてあらかじめ学習させた機械学習モデル。そのまま利用するために作られたものではなく、別のタスクや用途に再利用されることを前提として、学習効率や性能向上のために事前学習を行ったモデルである。

対象タスクとは異なるが、関連性のあるデータや課題を用いてモデルをあらかじめ学習させることを「事前学習」（pretraining）という。職業教育の前の初等教育のようなもので、モデルに入力データの基本的な構造や統計的性質を獲得させる。

例えば、画像処理向けのモデルであれば、数百万枚におよぶ多様な画像を通じて、物体の「輪郭」や「模様」といった基本的な視覚情報を抽出する能力を獲得させる。自然言語処理向けのモデルであれば、何億もの膨大な文章データを与え、その言語における語彙や単語の繋がり、文脈などを学習させる。この学習を終えたモデルを事前学習済みモデルという。

利用時には、モデルの一部を固定して新たな層を追加する「転移学習」や、新たな学習データで全体の重みを微調整する「ファインチューニング」を行う。すでにその分野の基礎ができている状態で学習を行うため、少量の学習データでも効率的に精度を高めることができる。

事前学習済みモデルはオープンソースで公開されているものもあり、大量の計算資源や膨大な学習用データを持たない個人や小規模な組織であっても、最先端のモデルを自社の課題に適用できるようになっている。事前学習済みモデルをそのまま特徴抽出器として用い、新たな分類器のみを学習する方法も広く用いられている。