未学習【underfitting】過小適合/アンダーフィッティング
概要

未学習のモデルは、訓練に用いたデータに対しても正確な予測や分類を行えず、未知のデータに対する精度も低いままである。学習回数が不足していたり、モデルの構造が単純すぎて複雑な特徴を表現し切れなかったりすることが主な原因となる。正則化を過度にかけた場合や、特徴量の選び方が適切でない場合にも、必要な情報が捨てられて学習が妨げられる。
一方、学習データに過剰に適合してしまった状態を「過学習」「過剰適合」「オーバーフィッティング」(overfitting)という。過学習では学習データへの精度は高いが未知データへの対応力が低下してしまっているのに対し、未学習では学習データと未知データの双方で精度が低いままである。
未知データのみでテストを行うと、結果が悪かった場合に過学習のせいなのか未学習なままなのか区別がつきにくいため、機械学習の現場では学習データと検証データの両方で精度や損失を比較し、学習の進行状況を確認することが多い。未学習であると分かった場合には学習回数の調整やモデル構造の見直しによって改善が図られる。
知識の未学習
大規模言語モデル(LLM)においては、「未学習」という語は特定の知識を学習していない状態を指すこともある。学習データに含まれていない専門用語や固有名称、最新の出来事などについて尋ねられた場合、モデルは正確な回答を返せず、事実でない内容をあたかも真実のように述べる「ハルシネーション」(hallucination)を起こしたり、単に回答不能になったりする。
初期状態のモデルはパラメータが最適化されておらず、あらゆるデータに対して未学習の状態にある。膨大なデータを与えて繰り返し計算させることで、実用的な性能を持つモデルへと近づいていく。開発者は未学習の領域を特定し、追加データによる再学習やファインチューニングを行うほか、外部の情報源を検索して参照させる「拡張検索生成」(RAG:Retrieval Augmented Generation)などの手法を組み合わせ、未学習による回答精度の低下を補う取り組みを進めている。社会の変化とともに新しい情報は絶えず生まれるため、未学習への対応は実用上の大きな課題となる。