ハルシネーション【hallucination】

概要

大規模言語モデルで動作するチャットボットが、学習データの中に該当する知識が存在しないような質問を受けたときに、モデル内の関係がありそうな情報を繋ぎ合わせてもっともらしい回答を返すことがある。学習データに誤りがあるわけではなく、学習内容からは導き出せそうもないような応答を返すことをハルシネーションという。

例えば、数量などの事実関係を聞かれたときに「分からない」と答えずに出所不明な誤った内容を回答したり、前提が間違っている質問に対して「間違っている」と指摘せずに誤った前提に基づく作り話を始めたり、存在しない（質問者がでっち上げた）概念について尋ねると「存在しない」と答えずに、あたかも実在するかのようもっともらしい回答を創作したりする。

人間ならば自らが知っている知識体系に照らし合わせて、「知らない」「分からない」「質問が間違っている」「そんなものはない」と答えられるが、現在の生成AIは人間のように知識モデルを参照しているわけではないため、どういった場合に「回答らしい文章」ではなく「知らない」と答えるべきなのか判断できないものと考えられている。

しかし、巨大な機械学習モデルの内部でどのような推論が行われているのか、単語や知識をどのように組み合わせて回答を作成しているのかは複雑すぎて簡単には解析できないため、ハルシネーションが発生する詳しいメカニズムや、どのようにしたら防げるのかなどについて詳しいことは分かっていない。