AI研究所 - AI(人工知能)に脅かされないために、AI(人工知能)を作る側の人間になる -

HOME  >  Word2Vecを使って人工知能にアンケートを分析させる方法

公開日:2018.08.22 

Word2Vecを使って人工知能にアンケートを分析させる方法

カテゴリー: AI(人工知能)の作り方

こんにちは、AI研究所の見習い研究員のマサミです。

今回は、Word2Vecを使ってAIセミナーのアンケート内容を分析してみたいと思います!

Word2Vecとは

Word2Vecは、文章の中にある単語同士のつながりに基づいて単語の関係性をベクトルで表すことができます。
単語をベクトル化することで、単語同士の類似度を調べることができます。
また、単語をベクトル化すると線形計算も可能です。
例えば、「父-男+女=母」のような計算が可能になります。

今回はWord2Vecの代表的なライブラリである「Gensim」を利用してWord2Vecを行います

それでは実際にアンケートを分析していきたいと思います。
ひとまず、アンケートの感想を全て一つのテキストファイルにまとめます。
そして、そのテキストファイルを形態素解析して単語に分けます。

形態素解析は以前の記事「形態素解析をして日本語の文章を単語区切りにする方法」でも書きましたが、文章を分かち書きして、することができます。
形態素解析のライブラリは幾つかありますが、「Tokenizer」を利用します。

from janome.tokenizer import Tokenizer
import re

blog = open("text.txt", "r")
text = blog.read()

t = Tokenizer()
results = []
lines = text.split("\r\n")
for line in lines:
    s = line
    s = s.replace('|', '')
    s = re.sub(r'《.+?》', '', s)
    s = re.sub(r'[#.+?]', '', s)
    tokens = t.tokenize(s)
    r = []
    for tok in tokens:
        if tok.base_form == "*":
            w = tok.surface
        else:
            w = tok.base_form
        ps = tok.part_of_speech
        hinsi = ps.split(',')[0]
        if hinsi in ['名詞', '形容詞', '動詞', '記号']:
            r.append(w)
    rl = (" ".join(r)).strip()
    results.append(rl)

wakati_file = 'text.wakati'
with open(wakati_file, 'w', encoding='utf-8') as fp:
    fp.write("\n".join(results))

続いて、Word2vecでモデルを作成します。

from gensim.models import word2vec

data = word2vec.LineSentence(text_file)
model = word2vec.Word2Vec(data, size=200, window=10, hs=1, min_count=2, sg=1)
model.save('word2vec.model')

あとは作成したモデルを利用してアンケートを分析してみます。
今回は「セミナー + 内容」でどのようなキーワードがあるかを調べてみました。

from gensim.models import word2vec
model = word2vec.Word2Vec.load('word2vec.model')
words = model.most_similar(positive=['セミナー', '内容'])
print(words)

以下のような結果となりました。

「満足」「大変」「感じる」「非常」「紹介」「検討」「利用」「嬉しい」「多い」「実践」

「満足」という単語が表示されました!
皆さんもWord2Vec試してみてください!

タグ:


参考になったら「いいね!」と「シェア」をお願いします!!

このエントリーをはてなブックマークに追加
AI(人工知能)入門セミナー開催中
AI(人工知能)入門セミナー AI(人工知能)入門セミナー

AI入門ブログの中の人

AI研究所 研究スタッフ
通称:マサミ
アメリカ・サンフランシスコにある情報メディアの専門学校を卒業。大手金融会社での事務経験を経て、2016年9月よりAI研究所に入所。見習い研究員として、AI技術を日々勉強中。

Facebookページ