読み方 ： きょうしきょうせい

概要

リカレントニューラルネットワーク（RNN）やTransformerなどのモデルは文章や音声、動画など何らかの系列や順番に従って並んだデータを連続的に扱うように設計されており、あるステップの予測に直前のステップで予測した自身の出力を用いることがある。

こうしたモデルは、学習の初期や性能が低い状態では、あるステップで誤った予測をしてしまうと、その先のステップ全体に誤りが連鎖し、性能が大きく下がる問題が生じることがある。教師強制では、こうした段階での予測に直前の出力を使わず、学習データに含まれる正解を入力として与える。誤った文脈で予測や生成が進行することを防いで、学習を正しく進めることができる。

教師強制で学習したモデルも、テスト時には本来の設計通り自身の出力を用いて次のステップの予測を行うため、学習時とテスト時で入力データの分布が一致しなくなるという問題がある。自らの予測によって生じた誤差を含む入力に対処する能力は学習しにくいとされ、この点を改善するスケジュールドサンプリングなどの手法も提案されている。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。