AI研究所 - AI(人工知能)に脅かされないために、AI(人工知能)を作る側の人間になる -

HOME  >  AI(人工知能)用語集  >  自然言語処理

自然言語処理とは

情報科学の分野ではプログラム言語などの人工言語に対して、歴史的経緯を経て自然発生的に形成された日本語や英語のような人間が使う言語を自然言語と呼びます。この自然言語をコンピューターに処理させようとする一連の技術を自然言語処理といいます。

人工知能と言語学の一分野には「計算言語学」というものがあります。自然言語処理はこの計算言語学との類似もあるのですが、自然言語処理は工学的な視点からの言語処理をさすのに対して、計算言語学は言語学的視点を重視する手法をさす事が多く、データベース内の情報を自然言語に変換したり、自然言語の文章をより形式的な表現に変換するといった処理が含まれます(たとえばIMEなど)。

自然言語処理は形態素解析と構文解析、文脈解析、意味解析などをシンタックスなど表層的な観点から解析をする学問です。人間とコンピューターの間の対話インタフェースとして、自然言語がもし使えたら非常に便利であるということもあって、コンピューターの登場初期(1960年頃)には自然言語処理にある種の過剰な期待もありましたが、初期のシステムが、限定的な世界でうまくいったことで、すぐ楽観的な見方や期待が出てきましたが、現実を相手にする曖昧さや複雑さがわかるとその勢いは収まりました。また、何が簡単で何が難しいのか、といったようなことはなかなか共有されなかった為、進展も遅いものとなりました。

やがて、コンピューターの発展とともに、「音声認識による便利なシステム」が多くの人に利用されることとなり、何が簡単で、どういう事に使うのは難しいのかが理解されるようになりつつあります。
自然言語理解は、AI完全問題と言われることがあります。なぜなら、自然言語理解には世界全体についての知識とそれを操作する能力が必要と思われるためです。将来的には可能となるかもしれませんが、ハードウェア、ソフトウェア的にも超えなければならないハードルはかなりのものと思われます。

参考記事:形態素解析をして日本語の文章を単語区切りにする方法


自然言語処理における課題

自然言語処理における課題として以下のようなものがあり、それぞれ研究が進んでいます。

形態素解析

中国語、日本語などの分かち書きをしない言語の解析

音声における形態素解析

話し言葉の場合、単語の区切りなどは短くなると前の音とつながった単語の分離など

語義の曖昧性

単語の持つ複数の意味の適切な使い分け

構文の曖昧性

1つの文には複数の構文木を持つ場合など

不完全な入力や間違った入力

主語の省略によるものや、スキャンした文字の読み取り精度など

言語行為

問いに対する答えに対しての回答が複数のとらえ方ある場合など

自然言語処理は長い文になればなるほど、解釈の組み合わせが指数関数的に増大していき、処理が困難となります。そのような場合、確率論や統計学手法を使い何らかの解決策を与えようとするのが統計的自然言語処理です。
統計的自然言語処理の起源は、人工知能の中でもデータからの学習を研究する分野である機械学習やデータマイニングといった分野です。統計学的自然言語処理ではコーパス言語学やマルコフ連鎖といった手法が使われます。


自然言語処理の応用技術

自然言語処理の応用技術として、以下のような技術が研究・実用化されています。

・自動要約生成
・情報抽出
・情報検索
・検索エンジン
・概念検索
・機械翻訳
・翻訳ソフト
・固有表現抽出
・自然言語生成
・光学文字認識
・質問応答システム
・音声認識
・音声合成
・校正、スペルチェッカー
・かな漢字変換

人の役割を代替するAI(人工知能)を実現するために、自然言語処理技術は必須のものといえます。
映画や漫画に登場するロボットやAIは、そのほとんどが自然言語によるインタフェースを備えていますし、自身で様々な学習を行い、知識も習得していきます。また、日常的な会話においても、受け答え可能となっていて、身近な存在として描かれています。

今後コンピューターの発展とともに自然言語で会話できるAIの登場が期待されます。


参考になったら「いいね!」と「シェア」をお願いします!!

このエントリーをはてなブックマークに追加

AI(人工知能)入門セミナー開催中
AI(人工知能)入門セミナー
LINE@

Facebookページ