勾配消失問題とは

勾配消失問題とは、機械学習手法のひとつであるニューラルネットワークの設計において、勾配が消失することで学習が進まなくなる技術的な問題のことです。

ニューラルネットワークによる学習を行う際、最もシンプルなモデルである単純パーセプトロンでは、線形分離可能な問題しか学習できませんでした。
したがって、非線形分離が必要となる問題では、パーセプトロンを多層化する必要があります。
多層化する場合に新たに問題になるのは、予測値と実際の値の差分である誤差を最小化する、いわゆる最適化問題が複雑化することです。

多層ニューラルネットワークの最適化問題を解くためには、1986年に登場した誤差逆伝播（バックプロパゲーション）法が用いられます。
誤差逆伝播法では、誤差の最小化に使用される勾配降下法の一種である、確率的勾配降下法を用います。
誤差を出力層から入力層に向かって逆向きに伝播しながら勾配を計算し、隠れ層の重みやバイアスが再計算するこの手法によって、これらを手動で設計する必要はなくなりました。

しかし、ここで別の問題が生じました。
ニューラルネットワークは多層化するに従い、勾配が消えてしまったのです。
勾配が消えると、最適解が求められず、学習が進まなくなります。この勾配消失問題は局所最適化と並び、多層ニューラルネットワークの長年の問題でした。

勾配消失問題の原因のひとつの例は、活性化関数でした。シグモイド関数などの場合、勾配が0に近い領域が存在するため、勾配消失に陥ると重みがほぼ修正されなくなります。
多層ニューラルネットワークでは、一カ所でも勾配が0に近い層が存在すると、それより下層の勾配も全て0に近くなります。このため、層数が増えるほど(特に四層以上において)学習が難しくなっていました。

よって、活性化関数の変更は勾配消失問題を改善しました。
シグモイド関数の代わりに、ランプ関数(ReLUなど)を用いると、勾配消失が起きにくくなったのです。
他には、重みや初期化、勾配降下法の選択などが勾配消失に関係しています。

こうした勾配消失問題を含む一連の技術的問題が解決されたことで、多層ニューラルネットワークは深層化に成功し、2010年代にはとりわけイメージ知覚問題で分類精度が飛躍的に向上しました。
深層化した多層ニューラルネットワークは、ディープラーニングと呼ばれるようになりました。
しかしながら、複雑なモデルでは勾配消失問題は依然として課題となっています。

ニューラルネットワークの学習を阻害する問題には、勾配消失問題以外にも類似した課題が存在します。その一例が「勾配爆発問題」です。勾配消失問題と同様に、モデルの学習に深刻な影響を与える現象であり、両者の関係性や対策を理解することで、より効果的なニューラルネットワークの設計が可能となります。

勾配爆発問題とは

勾配爆発問題とは、ニューラルネットワークの学習において、逆伝播中に勾配が非常に大きな値を取ることで学習が不安定になる現象です。この問題は、勾配消失問題とは反対に、重みの更新が過剰になることで生じます。特に、リカレントニューラルネットワーク（RNN）や非常に深いネットワークで発生しやすいとされています。

勾配消失・勾配爆発問題の関係性

勾配消失問題と勾配爆発問題は、どちらもニューラルネットワークの学習を阻害する現象ですが、その原因と影響は対照的です。

両者を理解することで、より適切なニューラルネットワーク設計が可能になります。

勾配消失問題への現代的な解決手法

勾配消失問題を解消するためには、活性化関数の選択やネットワーク構造の工夫が重要です。以下は、近年注目されている解決手法です。

①ResNet（Residual Networks）の導入

ResNetは、勾配消失問題を緩和するために設計されたネットワーク構造です。ResNetでは、層を飛び越えて直接接続する「スキップ接続（Residual Connection）」を導入しています。この接続により、勾配が層を通過する際の情報損失が減少し、深層ネットワークの学習が安定化しました。

②LSTM（Long Short-Term Memory）の利用

リカレントニューラルネットワーク（RNN）での勾配消失問題を解消するために、LSTMが開発されました。LSTMはゲート機構を持つため、重要な情報を保持しつつ不要な情報を忘れることで、時間方向での勾配消失を抑制します。