# 品詞を限定した、タグドキュメントリストの生成
from gensim.models.doc2vec import Doc2Vec
from gensim.models.doc2vec import TaggedDocument

import MeCab

# Mecabによる解析の実験：ipadic-neologdの辞書を指定している。
text = '日本語の自然言語処理は難しいよね。'
tagger = MeCab.Tagger(r"-Ochasen -d .\mecab-ipadic-neologd")        
result = tagger.parse(text)
print(result)

# タグドキュメントのリストを作る
TaggedDocument_list=[]

# 投稿記事を、タグドキュメント化して、そのリストを作っていく。
# 全記事対象にした。
for item_info in item_info_list:
    #投稿記事のURLと本文（body)を取り出す。
    url_str=item_info[3]
    body=item_info[9]
    #　★ノーマイライズを入れる
    normalized_body=normalize_neologd(body)
    
    lines = tagger.parse(normalized_body).splitlines()
    words = []
    for line in lines:
        chunks = line.split('\t')
        #　★特定の品詞に限定して利用する。
        if len(chunks) > 3 and (chunks[3].startswith('動詞') or chunks[3].startswith('形容詞') or (chunks[3].startswith('名詞') and not chunks[3].startswith('名詞-数'))):
            words.append(chunks[0])
    #TaggedDocumentは、以下のような形式で生成する。モデル利用時には、tagsの値でこの文書を指定する。
    #TaggedDocument_pair = TaggedDocument(words=['名詞', '動詞', '形容詞', '日本語', '処理', '難しい'], tags=['d1'])
    #タグは、URLにする。
    TaggedDocument_pair = TaggedDocument(words=words, tags=[url_str] )
    TaggedDocument_list.append(TaggedDocument_pair)

print(len(TaggedDocument_list))

normalize_neologd("南アルプスの　天然水　Ｓｐａｒｋｉｎｇ　Ｌｅｍｏｎ　レモン一絞り")
# >  '南アルプスの天然水Sparking Lemonレモン一絞り'

# https://github.com/neologd/mecab-ipadic-neologd/wiki/Regexp.ja
# ノーマライズ：詳細は↑のURLを参照

# encoding: utf8
from __future__ import unicode_literals
import re
import unicodedata

def unicode_normalize(cls, s):
    pt = re.compile('([{}]+)'.format(cls))

    def norm(c):
        return unicodedata.normalize('NFKC', c) if pt.match(c) else c

    s = ''.join(norm(x) for x in re.split(pt, s))
    s = re.sub('－', '-', s)
    return s

def remove_extra_spaces(s):
    s = re.sub('[ 　]+', ' ', s)
    blocks = ''.join(('\u4E00-\u9FFF',  # CJK UNIFIED IDEOGRAPHS
                      '\u3040-\u309F',  # HIRAGANA
                      '\u30A0-\u30FF',  # KATAKANA
                      '\u3000-\u303F',  # CJK SYMBOLS AND PUNCTUATION
                      '\uFF00-\uFFEF'   # HALFWIDTH AND FULLWIDTH FORMS
                      ))
    basic_latin = '\u0000-\u007F'

    def remove_space_between(cls1, cls2, s):
        p = re.compile('([{}]) ([{}])'.format(cls1, cls2))
        while p.search(s):
            s = p.sub(r'\1\2', s)
        return s

    s = remove_space_between(blocks, blocks, s)
    s = remove_space_between(blocks, basic_latin, s)
    s = remove_space_between(basic_latin, blocks, s)
    return s

def normalize_neologd(s):
    s = s.strip()
    s = unicode_normalize('０-９Ａ-Ｚａ-ｚ｡-ﾟ', s)

    def maketrans(f, t):
        return {ord(x): ord(y) for x, y in zip(f, t)}

    s = re.sub('[˗֊‐‑‒–⁃⁻₋−]+', '-', s)  # normalize hyphens
    s = re.sub('[﹣－ｰ—―─━ー]+', 'ー', s)  # normalize choonpus
    s = re.sub('[~∼∾〜〰～]', '', s)  # remove tildes
    s = s.translate(
        maketrans('!"#$%&\'()*+,-./:;<=>?@[¥]^_`{|}~｡､･｢｣',
              '！”＃＄％＆’（）＊＋，－．／：；＜＝＞？＠［￥］＾＿｀｛｜｝〜。、・「」'))

    s = remove_extra_spaces(s)
    s = unicode_normalize('！”＃＄％＆’（）＊＋，－．／：；＜＞？＠［￥］＾＿｀｛｜｝〜', s)  # keep ＝,・,「,」
    s = re.sub('[’]', '\'', s)
    s = re.sub('[”]', '"', s)
    return s    

%%time
# 学習実行（パラメータを調整可能）
# documents:学習データ（TaggedDocumentのリスト）
# min_count=1:最低1回出現した単語を学習に使用する
# dm=0:学習モデル=DBOW（デフォルトはdm=1:学習モデル=DM）
# model = Doc2Vec(documents=TaggedDocument_list, min_count=10, dm=0)
# iter:トレーニング反復回数 デフォルトは５？
Doc2VecModel = Doc2Vec(documents=TaggedDocument_list, size=150, alpha=0.0015, sample=1e-4, min_count=10, workers=4, iter=30)

# 学習したモデルを保存
Doc2VecModel.save('simple30_Doc2VecModel_150.model')

model = Doc2VecModel
# ファイルからロードする場合は以下：
# model = Doc2Vec.load('simple30_Doc2VecModel_150.model')

# ベクトル'd1'を表示（型はnumpy.ndarray）
# print(model.docvecs['d1'])
# 各文書と、最も類似度が高い文書を表示（デフォルト値：10個）
print(model.docvecs.most_similar('https://qiita.com/youwht/items/f21325ff62603e8664e6', topn=3))

print(model.most_similar(positive=u"python", topn=10))
print(model.most_similar(positive=u"プログラム", topn=10))
print(model.most_similar(positive=u"開発", topn=10))
print(model.most_similar(positive=u"アプリ", topn=10))
print(model.most_similar(positive=u"機械学習", topn=10))

# URLをキーにした辞書型にしておく。
url_key_dict={}
for item_info in item_info_list:
    url_key = item_info[3]
    url_key_dict[url_key] = item_info
print(len(url_key_dict))

topnNO=30
# 全部の記事URL(key)に対して
ruiji_iine_list=[]
for kiji_url in url_key_dict.keys():
    moto_kiji_iine = url_key_dict[kiji_url][0]
    #300いいね以上の記事に対しては、類似記事を取得する。
    if moto_kiji_iine >299 :
        sim_kiji_list = model.docvecs.most_similar(kiji_url,topn=topnNO)
        iinesuu_list=[]
        iinesuu_list.append(moto_kiji_iine)
        for sim_kiji in sim_kiji_list:
            sim_kiji_url=sim_kiji[0]
            sim_kiji_iine=url_key_dict[sim_kiji_url][0]
            iinesuu_list.append(sim_kiji_iine)
        ruiji_iine_list.append(iinesuu_list)

print(len(ruiji_iine_list))

total_val=0
moto_total_val=0
for iinesuu_list in ruiji_iine_list:
    moto_total_val+=iinesuu_list[0]
    for val in range(topnNO):
        total_val+=iinesuu_list[val+1]

print(total_val/topnNO/len(ruiji_iine_list))
print(moto_total_val/len(ruiji_iine_list))

from collections import defaultdict
from gensim.models.keyedvectors import KeyedVectors
from sklearn.cluster import KMeans
import pickle

key_list = range(len(model.docvecs))
print(len(key_list))

# ベクトル表現だけひたすら取り出してvectorに詰め込む。
vectors = [vector for vector in model.docvecs]
print(len(vectors))
# print(vectors[5])

# クラスタ数は、先に指定する。ここがクラスタリング処理
n_clusters = 30
kmeans_model = KMeans(n_clusters=n_clusters, verbose=1, random_state=42, n_jobs=-1)
kmeans_model.fit(vectors)

# pickleで出来たモデルは保存しておく。
with open(r'doc2vec_30_kmeans_model_30_150.dump', mode='wb') as f:
    pickle.dump(kmeans_model, f)

# クラスタリングのラベルを作る
key_list=[]
for item_info in item_info_list:
    iine=item_info[0]
    key_list.append(item_info[3])

print(len(key_list))
# print(key_list[5])

cluster_labels = kmeans_model.labels_
cluster_to_words = defaultdict(list)
for cluster_id, word in zip(cluster_labels, key_list):
    cluster_to_words[cluster_id].append(word)

# クラスタした結果を表示(各クラスタごとに３URLだけサンプル表示)
for words in cluster_to_words.values():
    print(words[:3])

import statistics
import math
import pandas as pd

super_osusume_list=[]

for url_strs in cluster_to_words.values():
    iine_list=[]
    iine_log_list=[]
    #print(len(url_strs))
    
    #いいね数やログいいね数のリストを生成。
    for url_str in url_strs:
        iine=url_key_dict[url_str][0]
        iine_list.append(iine)
        log_2_iine=math.log(iine+1, 2)
        iine_log_list.append(log_2_iine)
    
    kosuu = len(iine_list)
    totalsum = sum(iine_list) 
    mean = statistics.mean(iine_list)
    median = statistics.median(iine_list)
    log_mean = statistics.mean(iine_log_list)
    outputlist=[kosuu,totalsum,mean,median,log_mean]

    print(outputlist)
    
    if log_mean>3.0:
        print(u"↑これが、そのクラスタ内の平均が高い")
        for url_str in url_strs:
            super_osusume_list.append(url_str)

print(len(super_osusume_list))

[20279, 86803, 4.280437891414764, 1, 1.4025844646740377]
[732, 2150, 2.9371584699453552, 1.0, 0.9005997411336497]
[1984, 27188, 13.703629032258064, 4.0, 2.556772511011302]
[1724, 18076, 10.48491879350348, 4.0, 2.41081308764506]
[24312, 49699, 2.0442168476472524, 1.0, 0.9730674856456951]
[8187, 72085, 8.804812507634054, 2, 1.8539635079080152]
[3025, 20874, 6.900495867768595, 2, 1.8217969402674867]
[718, 11084, 15.437325905292479, 4.0, 2.594425110439478]
[1805, 30528, 16.913019390581717, 5, 2.646739678414474]
[2828, 20459, 7.234441301272985, 2.0, 1.925711294559684]
[493, 5045, 10.233265720081135, 3, 2.1077944304651517]
[492, 3747, 7.615853658536586, 2.0, 1.8214605320444002]
[426, 4190, 9.835680751173708, 2.0, 1.8648483554057411]
[2471, 18732, 7.580736543909349, 3, 1.9783958575503753]
[136, 3358, 24.691176470588236, 7.0, 3.2308068296130306]
↑これが、そのクラスタ内の平均が高い
[826, 15354, 18.588377723970943, 6.0, 2.849973539814431]
[1580, 41598, 26.327848101265822, 6.0, 3.0348010258987252]
↑これが、そのクラスタ内の平均が高い
[2307, 80924, 35.07758994364976, 5, 2.924070196663596]
[2115, 29439, 13.919148936170213, 3, 2.2782404704806263]
[633, 12045, 19.028436018957347, 5, 2.6515975462456294]
[88, 6357, 72.23863636363636, 9.0, 3.6168170882385287]
↑これが、そのクラスタ内の平均が高い
[434, 4606, 10.612903225806452, 4.0, 2.437344518113521]
[382, 42430, 111.07329842931937, 10.0, 3.9578317001193537]
↑これが、そのクラスタ内の平均が高い
[58, 177, 3.0517241379310347, 1.0, 1.4149235500639377]
[327, 11766, 35.981651376146786, 8, 3.3305086025506463]
↑これが、そのクラスタ内の平均が高い
[227, 2475, 10.90308370044053, 4, 2.439790206051181]
[32, 177, 5.53125, 2.0, 1.7983720785655]
[298, 7369, 24.72818791946309, 6.0, 3.0091577507563905]
↑これが、そのクラスタ内の平均が高い
[116, 5454, 47.01724137931034, 6.0, 3.13154297919538]
↑これが、そのクラスタ内の平均が高い
[37, 304, 8.216216216216216, 4, 2.1762433527742653]

2927

topNo=300
url_iine_ruiji_log_list=[]
for url_str in super_osusume_list:
    sim_kiji_list = model.docvecs.most_similar(url_str, topn=topNo)
    total_ruiji_iinesuu=0
    total_ruiji_iinesuu_log=0
    
    for sim_kiji in sim_kiji_list:
        sim_kiji_url = sim_kiji[0]
        sim_kiji_iine = url_key_dict[sim_kiji_url][0]
        total_ruiji_iinesuu += sim_kiji_iine
        
        #０のログを取らないようにする対応
        sim_kiji_iine+=1
        total_ruiji_iinesuu_log += math.log(sim_kiji_iine,2)

    #通常の平均値、ログを取った平均値を計算
    ruiji_iine_ave = total_ruiji_iinesuu/topNo
    ruiji_iine_log_ave = total_ruiji_iinesuu_log/topNo    
    moto_iine = url_key_dict[url_str][0]
    title = url_key_dict[url_str][1]
    
    tag_name_list=[]
    for tag_data in url_key_dict[url_str][2]:
        tag_name_list.append(tag_data["name"])
    
    url_iine_ruiji_log=[url_str,title,moto_iine,ruiji_iine_ave,ruiji_iine_log_ave,tag_name_list]
    url_iine_ruiji_log_list.append(url_iine_ruiji_log)
    
url_iine_ruiji_log = pd.DataFrame(url_iine_ruiji_log_list,
                  columns=['url_str', 'title', 'moto_iine', 'ruiji_iine_ave','ruiji_iine_log_ave','tag_name_list'])

url_iine_ruiji_log = url_iine_ruiji_log.sort_values(by='ruiji_iine_log_ave', ascending=False)

# カラム内の文字数の設定変更（URLが途中で表現されることになる。デフォルトは50から変更する。
pd.set_option("display.max_colwidth", 120)
# 行数の設置絵変更
pd.set_option("display.max_rows", 101)

url_iine_ruiji_log.head(100)