AI研究所 - AI(人工知能)に脅かされないために、AI(人工知能)を作る側の人間になる -

HOME  >  AI(人工知能)用語集  >  ボルツマンマシン・制約付きボルツマンマシン

ボルツマンマシン・制約付きボルツマンマシンとは

ボルツマンマシンは確率的回帰結合型ニューラルネットワークの一種です。生成モデルの一つで、無向グラフに対応した確率モデルであり、1985年に開発されました。決定論的なニューラルネットワークであるパーセプトロンとは異なり、データの確率的な生成規則を学習します。
名称は使用されているサンプリング関数(ボルツマン分布)に由来します。

ボルツマンマシンは統計的な変動を用いた、1982年に開発されたホップフィールド・ネットワークの一種でもあります。
ユニット(ニューロン)間に対称的な相互作用がある非同期型ネットワークであり、ネットワークのエネルギー関数が極小値をとります。
ホップフィールド・ネットワークは各ユニットが「全か無か」のマカロック-ピッツ型の入出力特性をもっています(形式ニューロン)。

ボルツマンマシンはホップフィールド・ネットワークと同様、結び付けられたユニット同士のネットワークで、ネットワークの持つエネルギーが定義されます。
ホップフィールド・ネットワークと異なる点は、エネルギー関数が最小値をとることを目指していることです。
各ノードは確率変数、エッジは重みをそれぞれもちます。


ボルツマンマシンの学習では対数尤度関数を最大化する最尤推定を行います。
期待値計算による発散を避けるため、分布のサンプリングが必要になります。
このサンプリングにはマルコフ連鎖モンテカルロ(MCMC)法が必要で、学習に膨大な時間がかかるため非実用的という問題点がありました。

この問題点を解消するために、同一層間の接続を認めない制約付きボルツマンマシンが1986年に開発されました。
制約付きボルツマンマシンはボルツマンマシンのようにランダムネットワークではなく、グラフ構造を入力層と隠れ層の2層とする制限をかけ、学習が収束しやすいようにしたものです。
また、変数が独立であるため、ボルツマンマシンに比べてサンプリングが容易で、MCMC 法のギブスサンプリングやコントラスティブ・ダイバージェンス(CD)法などを用います。

制約付きボルツマンマシンは

・次元削減
・分類
・協調的フィルタリング
・特徴量学習
データマイニング

などに応用でき、教師あり学習教師なし学習に用いることができます。2006年に注目を集めたのは、制約付きボルツマンマシンを多段に重ねた深層ニューラルネットワークでした。
これは後のディープラーニングの元祖のモデルになっています。


参考になったら「いいね!」と「シェア」をお願いします!!

このエントリーをはてなブックマークに追加

AI(人工知能)入門セミナー開催中
AI(人工知能)入門セミナー AI(人工知能)入門セミナー IoT入門セミナー

AI入門ブログの中の人

AI研究所 研究スタッフ
通称:マサミ
アメリカ・サンフランシスコにある情報メディアの専門学校を卒業。大手金融会社での事務経験を経て、2016年9月よりAI研究所に入所。見習い研究員として、AI技術を日々勉強中。

Facebookページ