パーセプトロン・単純パーセプトロン・多層パーセプトロン(MLP)とは

パーセプトロンは、ニューラルネットワークと呼ばれる機械学習の教師あり学習の手法です。
脳の視覚機能をモデル化したもので、分類問題やパターン認識などに用いられます。
モデル自体は、ロジスティック回帰と等価で、1957年に考案されました。

脳内のニューロン(神経細胞)は、樹状突起で複数のニューロンから入力を受け取り、一定の閾値を超えると発火し、軸索を介して出力を下流のニューロンに伝えます。
例えば、視覚野への入力層となる外側膝状体では、明暗に反応する複数の視床ニューロン群が視覚刺激に応答し、一次視覚野の皮質ニューロンに出力して線分に対する知覚を形成します。

パーセプトロンでは、複数の入力層の人工ニューロンからの出力が重み付けされ、その線形和とバイアス項の総和が出力層の人工ニューロンに伝達されます。
入力層と出力層の二層で構成されるものを単純パーセプトロン、隠れ層を含む三層以上に多層化されているものが多層パーセプトロン(MLP)とそれぞれ呼ばれています。

1970年代には小脳がパーセプトロンであるという仮説が提出されました。この仮説は小脳プルキンエ細胞のシナプス長期抑圧の発見により、実験的に証明されました。

パーセプトロンは、線形分離可能なものしか学習できないことを指摘され、一時期下火になりました。
しかし、1980年代に入ると、多層にすることで入出力が二値から実数になったボルツマンマシンや誤差逆伝播（バックプロパゲーション）法の登場によって、ようやく非線形分離の問題が解決されました。

パーセプトロンを構成する全ニューロンには、重み付けを行う線形変換後に適用する活性化関数があります。

単純パーセプトロンで用いられる活性化関数は、主に線形結合とステップ関数です。
多層パーセプトロンでは、生物学的ニューロンの活動電位の頻度および発火をモデル化するため、活性化関数が非線形なものが用いられています。
非線形の活性化関数には、

• tanhなどのシグモイド関数
• ReLUなどのランプ関数
• ソフトマックス関数

などがあります。

四層以上の多層パーセプトロンの技術的問題として、局所最適化や勾配消失問題がありました。
2006年に、ヒントンらが制約付きボルツマンマシンによるオートエンコーダの深層化に成功し、道を開きました。こうした技術的問題の解決とハードウェアの進化が相まって、多層パーセプトロンはディープラーニングへと進化し、イメージ知覚問題において飛躍的な性能向上を遂げることになります。