読み方 ： とうけいてきしぜんげんごしょり

概要

人間が記述した文章を集めたコーパスなどの大規模データセットを統計的に解析し、単語の出現頻度や共起関係などを確率的なモデルとして捉える。従来のルールベース手法は文法や辞書に基づいて文の構造を解析していたが、統計的なアプローチではこうした知識は直接的には用いず、実際の文例に頻繁に現れるパターンを観察する。

統計的自然言語処理が対象とするタスクは、機械翻訳や形態素解析、品詞タグ付け、テキスト分類、情報抽出、固有表現抽出など多岐に渡る。基本的な方法論として、単語列の確率を計算するn-gramモデルや、文脈に応じた単語の出現確率を推定する隠れマルコフモデル（HMM：Hidden Markov Model）、ベイズ推定などが用いられる。

近年では、統計的自然言語処理を基盤にさらに拡張・発展させた手法として、ニューラルネットワークを用いた機械学習モデルを用いた自然言語処理が主流となっている。Transformerなど自然言語を扱うのに適したモデルが考案され、大規模言語モデル（LLM）による極めて自然で高度な文章生成などが可能となっている。こうした高度な技術も基盤にあるのは確率論、統計学に基づく方法論である。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。