コーパス【corpus】

概要

コーパスとは、自然言語の研究や処理のために、実際に書かれた文章や話された言葉の用例を大量に収集し、検索や分析に利用しやすい形式で整理した言語データベース。言語学の基礎資料として用いられるほか、自然言語処理（NLP）や人工知能の言語モデル構築にも利用される。

日本語や英語など人間が記録や意思疎通に用いる言語を対象に、大量の文例を収集して構築する。単に文章を集めただけでなく、検索用の索引や、品詞、構文といった注釈（アノテーション）などの付加情報を与え、一定の構造で蓄積する。

収録対象は新聞記事や小説、論文、Webページ、会話、講演など様々である。書き言葉を集めた「書き言葉コーパス」、話し言葉を集めた「話し言葉コーパス」、各地の方言を集めた「方言コーパス」のように、目的に応じて特定の種類の用例のみを集めたものもある。

蓄積するデータの形式も一様ではなく、文字データとして保存するものが多いが、話し言葉を実際に朗読、発話して音声として録音し、文字起こしと組み合わせて整理した「音声コーパス」も存在する。特定分野の専門文書を集めたものや、複数の言語間で対訳関係を持たせた「対訳コーパス」（パラレルコーパス）など、用途に応じた様々な形式が作成されている。

コーパスは、もともと言語学や辞書編纂の基礎資料として作られてきた。ある語句がどのような場面で、どのような語と共に使われるかを客観的に調べる目的でも利用され、単語の出現頻度や共起語、語義の違い、時代による表現の変化などの分析に役立てられている。近年では、コンピュータによる自然言語処理（NLP：Natural Language Processing）のために電子化された大規模コーパスの整備が進んでいる。代表的な例として、国立国語研究所が構築した「現代日本語書き言葉均衡コーパス」（BCCWJ）などが挙げられる。

こうした大規模コーパスは機械学習システムの学習データとして用いられ、人工知能が言語を処理する際の基盤となる言語モデルの構築にも応用されている。AI企業はインターネット上の文章をクローリング（自動収集）して超巨大なコーパスを構築し、大規模言語モデル（LLM）の事前学習に用いている。これにより、対話型 AIサービスで文脈に応じた自然な文章生成や応答を可能にしている。学習に用いるコーパスの品質や収録内容の偏りは言語モデルの性能に影響し、収集対象の選定や著作権、個人情報への配慮を含めた整備が重要とされている。