【Python3版】ワードクラウドで「トーゴーの日シンポジウム」のキーワードを可視化する方法

# import 
import wordcloud as wc 
 
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt

# Jupyter Notebook描画用
%matplotlib inline

#IPAフォント
FONT="./fonts/IPAexfont00301/ipaexg.ttf"

def nouns2wdict(nfile):
    """
    CSVを入力として単語の出現回数を数え、Dict形式にする
    Normalizationは行っていない
    
    Parameters
    -------------
    nfile: str
        UTF-8でエンコードされたCSVファイルの名前
    
    Returns
    ---------
    wdict: dict(str->int)
        {単語:出現回数}
    
    """
    wdict={}
    with open(nfile,encoding="utf-8") as f: #comma-separated
        for line in f:
            x= line.strip().split(",")
            for surface in x:
                wdict[surface]=wdict.get(surface,0)+1
    return wdict

#2018 トーゴーの日アブストラクト
wdict2018=nouns2wdict("2018.nouns.txt")
#2011 トーゴーの日アブストラクト
wdict2011=nouns2wdict("2011.nouns.txt")

# 2018要旨集ワードクラウド
 
wc2018=wc.WordCloud(
        font_path=FONT
    ).generate_from_frequencies(wdict2018)

def plot_wordcloud(wordcloud, title="WordCloud", pngfile=None):
    """
    WordCloud描画
    
    parameters
    -------------
    wordcloud: wordcloud object
        描画対象
    tilte: str
        タイトル
    pngfile: str (or None)
        ファイル名
        None出なければここで指定した名のpngファイルに出力
    """
    # 描画できるような形に変換
    awc = wordcloud.to_array()
 
    #描画 （画像を作る）
    fig=plt.figure()   
    left, width = 0.01, 0.98
    bottom, height = 0.01, 0.90
    ax=  plt.axes([left, bottom, width, height])
    
    #plot wordclouds
    ax.imshow(awc, interpolation="bilinear")
    ax.axis("off")
    ax.set_title(title,fontsize=18)
 
 
    # 表示
    plt.show()
    # png
    if pngfile:
        fig.savefig(pngfile)
    

plot_wordcloud(wc2018, title="2018")

wc2018=wc.WordCloud(
    background_color="white",
    font_path=FONT,
    max_words=50,
    min_font_size=30,
    max_font_size=96,
    width=800,
    height=600
).generate_from_frequencies(wdict2018)
 
plot_wordcloud(wc2018, title="2018")

def make_flags(wdict1,wdict2):
    """
    単語頻度の比較を得るための辞書
    
    Parameters
    -------------
    wdict1, wdict2:dict(str->int)
        {単語:出現回数}からなる辞書
    
    Returns
    ---------
    fdict: dict (str->float)
        ｛単語w:(wdict2でのwの頻度-wdict1でのwの頻度)/(wdict1でのwの頻度+wdict2でのwの頻度) }
    """
    fdict={}
    allnouns=set(list(wdict1.keys())+list(wdict2.keys()))
    sum1=sum(wdict1.values())
    sum2=sum(wdict2.values())
    for key in allnouns:
        freq1=wdict1.get(key,0)/sum1
        freq2=wdict2.get(key,0)/sum2
        if key!='':
            fdict[key]=(freq2-freq1)/((freq1+freq2)*2)
    return fdict    

fdict=make_flags(wdict2011,wdict2018)

print("{0}\t{1: .2f}".format("データ",fdict["データ"]))
print("{0}\t{1: .2f}".format("データベース",fdict["データベース"]))
print("{0}\t{1: .2f}".format("情報",fdict["情報"]))
print()
print("{0}\t{1: .2f}".format("疾患",fdict["疾患"]))
print("{0}\t{1: .2f}".format("リポジトリ",fdict["リポジトリ"]))
print("{0}\t{1: .2f}".format("SPARQL",fdict["SPARQL"]))

class FreqColorFunc(object):
    """
       単語頻度比較辞書に基づくカラーマップを生成する関数のクラス
       Wordcloudのドキュメントに出てきたデモプログラムを改変
       
       Returns
       ---------
       c: function(str->(float,float,float))
            Wordcloudのcolorfuncで使える形の関数
       
       See Also
       ---------
       make_flags
    """
 
 
    def __init__(self, freq, colormap):
        """
            Parameters
           ----------
           freq : dict(str -> float)
               単語から頻度の比較を示す値f（f ∈[-0.5,0.5])へのマップ
           colormap : matplotlib.colors.Colormap 
               カラーマップオブジェクト 
 
 
        """
        self.m=255
        self.cm=colormap
        self.f=freq
        self.af=lambda x:(x+0.5)  # [-0.5,0.5]から[0,1] への関数ならなんでもよい
    def c(self,x):
            r,g,b,a=self.cm(int(self.cm.N*self.af(x)))
            return(int(r*self.m),int(g*self.m),int(b*self.m))
 
    def __call__(self, word, font_size, position, orientation,random_state, **kwargs):
        return self.c(self.f[word])

# matplotlibのカラーマップ名から対応するColormapオブジェクトを得る
colormap=plt.get_cmap("viridis") 
# cfuncが色付け関数となる
cfunc= FreqColorFunc(fdict, colormap)

wordc= wc.WordCloud(
            color_func= cfunc,    #   WordCloud関数にカスタム色関数を渡す
            background_color="white",
            font_path=FONT,
            min_font_size=30,
            max_font_size=96,
            max_words=50,
            width=800,height=600
            ).generate_from_frequencies(wdict2018)
 
plot_wordcloud(wordc, title="2018")

def make_wordcloud_custom_color_func(topicdict,cfunc):
    """
   カスタム関数でWordcloud
   
        
    parameters
    -------------
    topicdict:dict(str->int) 
        {単語:出現回数}からなる辞書
    cfunc: function 
        色付け関数
        
    returns
    --------
    wordcloud (描画は別に行う） 
    
    
    """
    
    wordc= wc.WordCloud(
            color_func= cfunc,    #   WordCloud関数にカスタム色関数を渡す
            background_color="white",
            font_path=FONT,
            min_font_size=30,
            max_font_size=96,
            max_words=50,
            width=800,height=600
            ).generate_from_frequencies(topicdict)
 
    return wordc

def wordcloud_compare(oldwdict,newwdict, colormap="viridis", 
                      title1="Word Cloud 1",title2="Word Cloud 2",label_left="old", label_right="new", label_offset=0,
                      outfile=None):
    """
    2つのWordcloudを並べてその下にカラースケールを表示
    
    parameters
    -------------
    oldwdict, newwdict:dict(str->int)
         {単語:出現回数}からなる
    colormap : matplotlib colormap or str
        色付け関数のベースとなるカラーマップ（名前でも可） (see FreqColorFunc) 
    title1, title2 :  str
        Wordcloudのタイトル(wdict1のほうがtitle1）
    label_left, label_right: str 
        カラースケールの両端に表示するラベル
    label_offset: int
        カラースケールの両端ラベルの場所調整用
    outfile: str or  None
         画像をセーブするファイル名 
    
    output
    -------
    ２つのWordcloudとカラースケールを表示した画像がファイルか標準出力に
    
    """
    # generate colorfunc
    if type(colormap)==str:
        colormap=plt.get_cmap(colormap)
    fdict=make_flags(oldwdict,newwdict)
    cfunc= FreqColorFunc(fdict, colormap)
    
    #generate wordclouds
    wc1=make_wordcloud_custom_color_func(oldwdict,cfunc)
    wc2=make_wordcloud_custom_color_func(newwdict,cfunc)
    
    #plot area
    fig=plt.figure(figsize=(12,6))   
    left, width = 0.01, 0.48
    bottom, height = 0.10, 0.90
    left2 = left+width+0.02
    ax1=  plt.axes([left, bottom, width, height])
    ax2 = plt.axes([left2, bottom, width, height])
    ax3 = plt.axes([0.05, 0.05, 0.90, 0.05])
 
    #plot wordclouds
    awc = wc1.to_array()
    ax1.imshow(awc, interpolation="bilinear")
    ax1.axis("off")
    ax1.set_title(title1,fontsize=18)
 
    awc = wc2.to_array()
    ax2.imshow(awc, interpolation="bilinear")
    ax2.axis("off")
    ax2.set_title(title2,fontsize=18)
 
    #plot color scale
    n=colormap.N
    ax3.imshow(np.arange(n).reshape(1,n),
              cmap=colormap,
              interpolation="nearest", aspect="auto")
    ax3.tick_params(axis='both', length=0)
    ax3.set_xticks([label_offset,n/2, n-label_offset])
    ax3.set_yticks([-.5, .5])
    ax3.set_xticklabels([label_left,"*",label_right],
        fontdict={'fontsize': 18,
                 'fontweight': 'light',
                 'verticalalignment': 'top',
                 'horizontalalignment': 'center'})
    ax3.set_yticklabels([])
 
    plt.show()
    #save 
    if outfile:
        fig.savefig(outfile)
  
        

wordcloud_compare(wdict2011,wdict2018,       
        title1="2011",title2="2018", 
        label_left="More frequent in 2011",label_right="More frequent in 2018",label_offset=20)

from palettable.colorbrewer.diverging import RdBu_4_r
wordcloud_compare(wdict2011,wdict2018,
                  title1="2011",title2="2018",
                  colormap=RdBu_4_r.mpl_colormap,
                  label_left="More frequent in 2011",label_right="More frequent in 2018",label_offset=20)