読み方：へんぶんオートエンコーダ

変分オートエンコーダ【variational autoencoder】VAE

概要

変分オートエンコーダとは、特殊なニューラルネットワークの構造の一つで、確率的な潜在変数モデルに基づいてデータの生成過程を学習するオートエンコーダ。データから学んだ特徴に基づいて新しいデータの生成が可能となる。

入力層と出力層の次元が同一で、一層のみの中間層（隠れ層）で情報を圧縮するネットワーク構造を「オートエンコーダ」（autoencoder）という。変分オートエンコーダは入力データを低次元の潜在空間に写像する際に、単一の値ではなく確率分布として表現する。エンコーダは平均と分散を出力し、潜在変数がその分布からサンプリングされると仮定する。この確率的表現により、潜在空間は連続的かつ滑らかな構造を持つように学習される。

学習では、再構成誤差に加えて、潜在変数の分布があらかじめ定めた事前分布に近づくよう制約を課す。この制約は変分推論に基づき定式化され、両者を同時に最適化することで安定した潜在表現が得られる。確率的サンプリングを含むため、そのままでは勾配計算が困難であるが、「再パラメータ化トリック」と呼ばれる手法により誤差逆伝播法が適用可能となる。

従来のオートエンコーダが再構成精度を主目的とするのに対し、変分オートエンコーダはデータ分布全体を捉えることができ、生成モデルの基礎として重要である。「VQ-VAE」「info VAE」「β-VAE」などの派生手法も提案されている。画像や音声の生成、創薬における分子構造の設計など、既存のデータの特徴を活かした新たなデータの生成に応用されている。