読み方：こゆうひょうげんちゅうしゅつ

固有表現抽出【NER】Named Entity Recognition

概要

固有表現抽出とは、自然言語処理の技術の一つで、文章の中から人名や地名、組織名、日付、金額などの固有名詞や数値表現を自動的に見つけ出し、その種類を判別する手法。検索や文書分析、生成AIなど様々な分野で、文章の意味を機械が理解するための基本的な処理として行われる。

文章には多数の名詞や数値が含まれるが、それが人物なのか組織なのか場所なのかは、単純な文字列だけでは判断できない場合が多い。固有表現抽出では文脈や周辺の語句との関係を分析し、「東京都」は地名、「OpenAI」は組織名、「100万円」は金額というように語句を分類する。抽出結果は元の文章にタグを付与する形で保持されることが多い。

対象となる固有表現の種類は用途によって異なるが、人名や組織名、地名のほか、製品名や法律名、イベント名、医薬品名、株式銘柄などが対象となることも多い。医療や金融、法務といった専門分野では、業界固有の名称を識別するために専用の学習データや辞書を組み合わせる場合もある。日本語では語と語の区切りが明確でないため、形態素解析と組み合わせて実行されることが多い。

この技術は情報検索やデータ分析の前処理として広く利用されている。ニュース記事から企業名や人物名を抽出して検索対象を整理したり、問い合わせメールから商品名や注文番号を取り出して自動処理したりする用途がある。生成AIでも利用者の質問から重要な名称を認識し、検索や外部システムとの連携に利用する場合がある。文書要約や知識グラフの構築、質問応答システムなどでも重要な処理となっている。

初期の固有表現抽出では、人手で作成した辞書や文法規則を利用していたが、新しい人名や企業名は次々に現れるため、手間やコストが課題だった。近年では機械学習技術の発展により、大量の文章を学習した言語モデルや深層学習を利用して自動的に固有表現抽出を行うことが可能となり、「BERT」のようなTransformerモデルを用いる手法が高い精度を実現している。各単語がどの固有表現の開始位置や終了位置に当たるかを示すために、「BIO」や「IOBES」といったタグ付け方式が用いられる。

人間でも知識や文脈が不十分であれば知らない単語の分類は困難であり、その事情はコンピュータによる固有表現抽出でも同じである。同じ表記が異なる対象を指す場合や、略称、表記揺れ、新語、文脈によって意味が変化する語句では誤判定が生じることがある。「Apple」は果物を指す場合と企業名を指す場合があり、前後の文章を考慮しなければ正しく分類できない。モデルの精度は、人手で正確にラベル付けされた学習用データの質にも大きく左右される。

(2026.7.22更新)