読み方 ： せいげんつきボルツマンマシン

概要

ボルツマンマシンは確率的な振る舞いを持つ人工ニューラルネットワークの一つで、データの確率分布を学習してパターンを表現する。「0」または「1」の値を保持する「ユニット」（unit）と呼ばれるノードの集合で構成され、ユニット同士は「重み」と呼ばれる数値で結ばれている。通常のボルツマンマシンはすべてのユニットが相互に結合されているため、学習に必要な計算量が指数的に増大し、実用上の障壁となっていた。

制限付きボルツマンマシンの構造

制限付きボルツマンマシンはこの問題を解決するために、ユニットを「可視層」と「隠れ層」の二層に分離し、同じ層に属するユニット同士は接続しないという制約を設けた。可視層はデータを直接受け取る入力側の層であり、隠れ層はデータに潜む特徴を抽出する役割を担う。この制約によって、ある層のすべてのユニットは与えられた他の層の状態に基づいて互いに独立して確率的に決定できるようになり、学習計算を大幅に単純化できる。

学習には「コントラスティブ・ダイバージェンス法」（CD：Contrastive Divergence）と呼ばれる近似アルゴリズムが広く用いられる。このアルゴリズムは、モデルが生成するデータの分布と訓練データの分布の差異を縮めるように重みを更新する手続きを、少ないサンプリング回数で近似的に実行するものである。完全な計算に比べて精度は落ちるが、実用上十分な学習結果が得られることから標準的な手法として定着した。

研究上の意義

制限付きボルツマンマシンが特に注目を集めたのは、2006年にジェフリー・ヒントンらが発表した「ディープビリーフネットワーク」（DBN：Deep Belief Network）の研究においてである。複数の制限付きボルツマンマシンを層ごとに順番に事前学習させてから全体を微調整するという手法が、それまで困難とされていた深いニューラルネットワークの効果的な訓練を可能にした。これはディープラーニング研究が加速する重要な契機となった。

その後、敵対的生成ネットワーク（GAN）や変分オートエンコーダ（VAE）といった生成モデルの台頭により、制限付きボルツマンマシン単体が使われる機会は減少している。しかし、協調フィルタリングを用いた推薦システムへの応用など、特定の用途では引き続き活用されており、確率的生成モデルの発展を語る上で欠かせないモデルとして位置づけられている。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。