RAG【Retrieval-Augmented Generation】検索拡張生成
概要
大規模言語モデル(LLM)などの一般的な生成AIは、機械学習モデルの構築時に与えた学習データのみに基づいて回答を行う。学習期間に含まれていない最新のニュースや、企業内部にのみ存在する機密情報などを含む質問には正しく答えることができず、もっともらしい嘘をつく「ハルシネーション」(hallucination:幻覚)という現象が課題となっていた。
RAGの仕組み
RAGはこの課題に対処するため、まず利用者の質問に関連する文書を外部のデータベースや検索基盤から取得し、その内容を入力の一部としてモデルに与える。モデルは取得された情報を踏まえて文章を生成するため、事前に学習済みの知識とその場で与えた外部知識を組み合わせた応答が可能となる。
RAGの動作は、大きく分けて「検索」と「生成」の二つのステップで構成される。利用者が質問を入力すると、システムはまず大規模な文書集合の中から、その質問に関連性の高い一節を探し出す。次に、見つかった情報を質問文とセットにして生成AIへと渡す。生成AIは与えられた資料を読み解き、その内容を要約したり組み合わせたりすることで、具体的かつ正確な回答を構築する。
RAGの特徴
AIモデルそのものを再学習させるには膨大な時間とコスト、膨大な学習データが必要だが、RAGであれば参照元となる文書ファイルを差し替えるだけで、常に最新の情報に基づいた回答が可能になる。回答の根拠となった引用元を提示できるため、利用者は情報の正確性を容易に検証できる。
企業や官公庁などでは、AIモデル作成に使われるようなオープンな情報だけでなく、組織内で独自に蓄積された情報や、外部に持ち出すことができない機密性のある情報、未公開の情報に基づいて業務を行うのが一般的である。組織内で利用するAIモデルにRAGを追加することで、このような個別性の高い文脈に沿ったAI活用が可能となる。
