AI研究所 - AI(人工知能)に脅かされないために、AI(人工知能)を作る側の人間になる -

HOME  >  AI(人工知能)用語集  >  Deep Learning(ディープラーニング)

Deep Learning(ディープラーニング)とは

機械学習がここまで注目を集めるに至った技術が「ディープラーニング」です。

元々ニューラルネットワークの代表的なものとして、2層構造のパーセプトロン、3層構造の階層型ニューラルネットがり、さらに4層以上のものもありましたが、4層以上の多層ニューラルネットの学習は、局所最適解や勾配消失などの技術的な問題によって、充分に学習させられず、性能も芳しくない冬の時代が長く続きました。

しかし、その後ボルツマンマシンやバックプロパゲーションンなどの手法が利用されるようになり、また多層化ゆえにコンピューターの演算時間も問題となっていましたが、近年のコンピューターの高性能化でその問題も解消されつつあり、通常利用されるCPUよりも単純な演算の並列処理に優れたGPUによる汎用計算 (GPGPU) により改善されてきました。

一般的には多層化ニューラルネットワークを持ちいた手法よりさらに深い階層のニューラルネットワーク(ディープニューラルネットワーク)を用いた機械学習という意味から、ディープラーニングと呼ばれるようになりました。

langnone-957px-Multi-Layer_Neural_Network-Vector.svg
画像参照:Wikipedia

ディープラーニングが注目されたのは、2012年に行われた国際的な画像認識の大会で、トロント大学のチームが、それまで主流とされる別の方法でエラー率26%だったものを、ディープラーニングを用いた手法で17%まで一気に精度を上げたという驚異的な進歩があったことによります。
その結果、他の手法を圧倒する高い性能を示し、認識エラー率は5%までとなり、ディープラーニングの有用性が証明されたと言えます。

また、GoogleがYouTubeの画像を大量にディープラーニングに与え16,000のCPUコアで3日間計算したところ猫を自ら認識できるようになったと発表し、物体認識タスクにおいて従来手法より飛躍的な進歩を遂げたと印象付けたのも重要なポイントです。
音声・自然言語を対象にした問題に対しても成果を出してきています。

ディープラーニングの問題点としては、研究者が少ないことや、良好な結果を出すには、アルゴリズムよりも、質の高い大量のデータが必要となるため、このデータを確保できない企業、国家にとっては研究の遅れにつながるといわれています。また、ディープラーニングによってシンギュラリティ(人工知能が自らより高性能な人工知能を作り出せるようになること)を突破するのではないかといわれることもありますが、研究者の中で意見も割れており、認識に温度差があります。


ディープラーニングの手法

中間層を多層化したものをまとめてディープニューラルネットワークと呼び、それを用いた機械学習技術をディープラーニングと呼びますが、以下に代表的な手法を紹介します。

畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)

Typical_cnn
画像参照:Wikipedia

全結合していない順伝播型ニューラルネットワークの一種で、特に2次元の畳み込みニューラルネットワークは人間の視覚野のニューロンの結合と似たニューラルネットワークであるため、人間の認知とよく似た学習が行われることが期待されています。なお、疎結合のネットワークであるため、全結合しているニューラルネットワークに比べて学習が高速となっています。近年では深層という単語が頭につき、深層畳み込みニューラルネットワークと呼ばれることもあります。


再帰型ニューラルネットワーク(Recurrent Neural Network、RNN)

Elman_srnn
画像参照:Wikipedia

有向閉路を持つニューラルネットワークの事で、それ以前の入力によって変化する状態を保持します(オートマトン)。動画像、音声、言語など、入力データの順序によって出力が変わる場合に有効な手法となっています。


Residual network(ResNet)

入力データを出力に変える変換を学習する一般的な手法と異なり、残差を学習する手法で、多層ニューラルネットより勾配消失がおきにくい為、はるかに多層化できるのが特徴であり、実験的には1000層まで学習されたものもありますが、入力次元数と出力次元数を変えることができないという欠点も持っています。


参考になったら「いいね!」と「シェア」をお願いします!!

このエントリーをはてなブックマークに追加

AI(人工知能)入門セミナー開催中
AI(人工知能)入門セミナー
LINE@

Facebookページ