読み方：エヌエスピー

NSP【Next Sentence Prediction】次文予測

概要

NSPとは、自然言語処理における機械学習の学習手法の一つで、ある文章の次に続く文が適切な文脈のものかどうかを判定するタスク。言語モデルが文章の文脈関係を理解する能力を学習するために用いられる。

米グーグル（Google）社が2018年に発表した言語モデル「BERT」（Bidirectional Encoder Representations from Transformers）の事前学習タスクとして導入された。BERTはNSPと共に、「MLM」（Masked Language Model：マスク言語モデル）という別のタスクを組み合わせ、二種類のタスクで学習を行う設計になっていた。

NSPでは、大規模なコーパス（文例データベース）から二つの文を取り出し、それらが元の文章において実際に連続していた場合と、無関係な文書からランダムに選んだ場合の二種類のペアを用意する。モデルはこの二つの文のペアを入力として受け取り、連続する文か否かを二値分類として予測する訓練を繰り返す。これにより、文と文の論理的なつながりや文脈の一貫性を捉える能力を習得することが期待された。

NSPで習得が期待される能力は、自然言語推論、質問応答、文書要約といった、複数の文にまたがる理解が必要なタスクへの対応力だった。しかし、その後の研究でNSPの効果については疑問が呈されるようになった。米フェイスブック（Facebook、現Meta）が発表したBERTの改良版である「RoBERTa」ではNSPを除去して学習を行ったにもかかわらず、BERTと同等以上の性能を示した。この結果を受け、以降はNSPを採用しない後継モデルも増えている。