読み方：シーボウ

CBOW【Continuous Bag-of-Words】

概要

CBOWとは、word2vecで用いられるニューラルネットワークのモデル構造の一つで、周囲の単語から中心にある単語を予測するもの。

word2vecは単語を意味的な特徴を持つ数値ベクトルとして表現する手法の一つで、大量のテキストデータから単語の意味を学習し、高次元のベクトル空間上の数値として表現する。主な学習モデルは二つあり、一つは周囲の単語から中心となる単語を予測するCBOW、もう一つは中心の単語から周囲の単語を予測する「スキップグラム」（Skip-Gram）である。

CBOWでは、文章中のある位置に注目し、その前後に出現するいくつかの単語（コンテキスト）を入力として、中央に現れる単語を推定する学習を行う。例えば、「公園で子供がボールを投げる」という一文があり、助詞や助動詞を除いて前後1単語をコンテキストとする場合、「公園」や「ボール」から「子供」という中心語を予測するように学習が行われる。入力となる周辺単語は順序を考慮せず、まとめて扱われる。

これらの単語のベクトル表現を平均化または合成した情報をもとに、中心語を予測することで、文脈全体の特徴がモデルに反映される。この学習過程を大量のテキストデータに対して繰り返すことで、意味的に近い単語は似たベクトル表現を持つようになる。

CBOWはスキップグラムに比べ、一度に複数の単語を入力として扱うため、学習が安定しやすく、計算効率が高いとされる。特に、出現頻度の高い単語は文脈情報が十分に得られるため、良好な表現が学習されやすい。一方、周辺語を平均化して扱う性質上、微細な文脈の相違や、出現頻度の低い希少な単語のニュアンスを捉える能力は乏しいとされる。