ボルツマンマシン・制約付きボルツマンマシンとは

ボルツマンマシンは、確率的回帰結合型ニューラルネットワークの一種です。

生成モデルの一つで、無向グラフに対応した確率モデルであり、1985年に開発されました。決定論的なニューラルネットワークであるパーセプトロンとは異なり、データの確率的な生成規則を学習します。
名称は使用されているサンプリング関数（ボルツマン分布）に由来します。

ボルツマンマシンは、統計的な変動を用いた、1982年に開発されたホップフィールド・ネットワークの一種でもあります。
ユニット(ニューロン)間に、対称的な相互作用がある非同期型ネットワークであり、ネットワークのエネルギー関数が極小値をとります。
ホップフィールド・ネットワークは、各ユニットが「全か無か」のマカロック-ピッツ型の入出力特性をもっています(形式ニューロン)。

ボルツマンマシンは、ホップフィールド・ネットワークと同様、結び付けられたユニット同士のネットワークで、ネットワークの持つエネルギーが定義されます。
ホップフィールド・ネットワークと異なる点は、エネルギー関数が最小値をとることを目指していることです。
各ノードは確率変数、エッジは重みをそれぞれもちます。

ボルツマンマシンの学習では、対数尤度関数を最大化する最尤推定を行います。
期待値計算による発散を避けるため、分布のサンプリングが必要になります。
このサンプリングには、マルコフ連鎖モンテカルロ(MCMC)法が必要で、学習に膨大な時間がかかるため非実用的という問題点がありました。

この問題点を解消するために、同一層間の接続を認めない制約付きボルツマンマシンが1986年に開発されました。
制約付きボルツマンマシンは、ボルツマンマシンのようにランダムネットワークではなく、グラフ構造を入力層と隠れ層の２層とする制限をかけ、学習が収束しやすいようにしたものです。
また、変数が独立であるため、ボルツマンマシンに比べてサンプリングが容易で、MCMC法のギブスサンプリングや、コントラスティブ・ダイバージェンス(CD)法などを用います。

制約付きボルツマンマシンは、

• 次元削減
• 分類
• 協調的フィルタリング
• 特徴量学習
• データマイニング

などに応用でき、教師あり学習・教師なし学習に用いることができます。

2006年に注目を集めたのは、制約付きボルツマンマシンを多段に重ねた深層ニューラルネットワークでした。これは後のディープラーニングの元祖のモデルになっています。