AI研究所 - AI(人工知能)に脅かされないために、AI(人工知能)を作る側の人間になる -

HOME  >  OKI、ディープラーニングモデルの新たな軽量化技術を開発!

公開日:2019.09.09 

OKI、ディープラーニングモデルの新たな軽量化技術を開発!

カテゴリー: AI(人工知能)のニュース

こんにちは!AI研究所の見習い研究員Chisatoです。
本日のtopicsは、OKI社による、ディープラーニングモデルの軽量化技術をご紹介します。

国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)と沖電気工業株式会社(OKI)は、多様な分岐・合流のあるネットワーク構造を含むディープラーニングモデルにおいて、認識性能を維持しつつ、メモリー使用量や消費電力を低減する新たなモデル軽量化技術を開発しました。

この技術により、エッジデバイスなど演算性能や電力消費に制限のある環境への高度な人工知能(AI)の搭載や、サーバー・クラウド環境における高度なAIの小規模・省電力運用などが期待できます。これによって、今後増加が見込まれるIoTアプリケーションへの応用が可能なAI技術の開発が加速され、多様で高度なデータ利活用社会の実現への貢献が見込まれます。

1. 概要

ディープラーニングは、画像や音声などの認識において優れた性能を有し、AI処理のアルゴリズムとしてクラウド上で多く活用されています。一方で、多層化により認識性能を向上させたディープラーニングモデルは、演算量・パラメーターが多く、大量の演算リソースや電力を必要とします。
車載用途やスマートフォン、組み込みIoTデバイスなど多様なエッジデバイスが登場する中、限られた演算リソース上でも高性能なモデルを高速・省電力に実行するために、モデルの軽量化技術が求められています。

軽量化技術としては、従来からチャネル・プルーニングという手法が提案されていました(図1)が、従来手法は、削減率の設定を層ごとに行う必要があり手間がかかる上に、全体として最適な削減にならないという課題がありました。

こうした背景のもと、NEDOとOKIは、NEDO事業において、OKI独自のチャネル・プルーニング技術であるPCAS(Pruning Channels with Attention Statics)(図2)を発展させ、新たなモデル軽量化技術を開発しました。PCAS技術は、チャネルの重要度推定にアテンション・モジュールを導入することで、認識性能の維持効果を高めつつ、層単位の削減率設定を不要とした技術です。
層間に挿入したアテンション・モジュールに後段の層への情報伝播を抑制する構造を持たせ、モデル全体の推論誤差を最小化する学習を経ることで、全体最適による重要度推定を可能にします。

今回開発した軽量化技術では、近年のモデル構造の多様性を考慮した新しいアーキテクチャにより重要なチャネルを自動選択することで、認識性能を維持しつつ、演算量を大幅に削減することに成功しました(図3)。

main
図1 従来のチャネル・プルーニング手法によるチャネルの削減効果

sub1
図2 アテンションに基づくモデル軽量化技術PCAS

2. 今回の成果

今回、NEDOとOKIが新たに開発した軽量化手法は、PCAS技術を発展させた近年の多様な分岐・合流経路を含むモデルに柔軟に対応できるアーキテクチャです。
モデル内の分岐経路では、経路ごとに認識性能に寄与する重要なチャネルが異なるため、その差異を吸収する必要があります。そこで、分岐部においては、単一のチャネルに対して複数のアテンション・モジュールを導入することにより、複数経路のチャネルの重要度を全体最適で推定します。さらに、経路ごとに異なるチャネル構成の不一致を整合する仕組みと、学習過程の詳細な分析に基づく誤差伝播量の制御方法を開発し、多様なモデルに対して認識性能を最大限に引き出すことに成功しました。

この技術を用いると、演算量の削減により、高速かつ低消費電力でAI処理を実行することが可能となります。測定の結果、ベンチマークとして一般的に用いられる高精度モデルへの適用においては、認識精度劣化を約1%に抑えながら、積和演算回数と処理時間をそれぞれ約80%削減しました。

sub2
図3 今回開発したモデル軽量化技術

高度なAIの小規模・省電力運用に期待、データ利活用社会の実現に貢献する、NEDOとOKIの技術開発に今後も注目です!

タグ:


参考になったら「いいね!」と「シェア」をお願いします!!

このエントリーをはてなブックマークに追加
AI(人工知能)セミナー開催中
AI(人工知能)入門セミナー AI(人工知能)入門セミナー IoT入門セミナー

AI入門ブログの中の人

AI研究所 研究スタッフ

【マサミ】

アメリカ・サンフランシスコにある情報メディアの専門学校を卒業。大手金融会社での事務経験を経て、2016年9月よりAI研究所に入所。見習い研究員として、AI技術を日々勉強中。


【三谷】

AIセミナー責任者、講師。AIについての幅広い知識を持ち、人に分かりやすく伝える技術を持つ。特にAIを事業や仕事に取り入れる方法について日々講義しています。

AI研究所Twitter

Facebookページ