AI研究所 - AI(人工知能)に脅かされないために、AI(人工知能)を作る側の人間になる -

HOME  >  機械学習用ライブラリ「Chainer」の学習率パラメーターについて

公開日:2017.07.07 [最終更新日]2017.10.23

機械学習用ライブラリ「Chainer」の学習率パラメーターについて

カテゴリー: AI(人工知能)の作り方

こんにちは、見習い研究員のマサミです。
最近、機械学習ライブラリ「Chainer」を使ってPythonで学習モデルの作成方法を絶賛勉強中です。

まずは、機械学習の定番中の定番、MNISTのチュートリアルを見ながらいろいろと試しに組んでみました。
組んでいく中で、ノード数や学習回数の設定はわかりやすかったんですが、学習率の値の設定方法がなかなか分からず苦戦しました。!
調べてもなかなか分からなかったので先輩社員に聞いてみたところ、ようやく分かったので内容をまとめたいと思います。

まず、Chainerの学習率の初期値ですが、どうやら「0.01」みたいです。
学習率は、機械学習において重みの更新量を決めるとても重要なパラメーターです。
設定を変更する場合は、「optimizer = optimizers.SGD(lr=0.01)」で設定できるそうです。

111

教えてもらうと一瞬で分かりますね(汗)
ちなみに、「optimizer = optimizers.Adam」を使うと、それぞれのパラメータに対し学習率を計算し適応させてくれるようです。
実際に試したところ学習結果が変わりました!

ついでに、活性化関数の変更方法についても教えてくれました。
Chainerには以下の活性化関数が用意されているようです。

222

変更方法は以下の通りです。

3333

上の画像はRelu関数からシグモイド関数に変更しています。簡単ですね!
ライブラリは機械学習のプログラミングを簡単にしてくれるので、こういった細かい設定まで覚えると楽しいですね!
皆さんも色々と試してみてはいかがでしょうか♪

次は重みとバイアスの初期値について調べていきたいと思います!

タグ:


参考になったら「いいね!」と「シェア」をお願いします!!

このエントリーをはてなブックマークに追加
AI(人工知能)入門セミナー開催中
AI(人工知能)入門セミナー

AI入門ブログの中の人

AI研究所 研究スタッフ
通称:マサミ
アメリカ・サンフランシスコにある情報メディアの専門学校を卒業。大手金融会社での事務経験を経て、2016年9月よりAI研究所に入所。見習い研究員として、AI技術を日々勉強中。

LINE@

Facebookページ