月: 2017年9月

CA03list = df1.loc[df1['Ｆターム'].str.contains('(4C100 CA03|4C100 CA04|4C100 CA05|4C100 CA06|4C100 CA07|4C100 CA08|4C100 CA09)'), '公報番号']
NOTCA03list = df1.loc[~df1['Ｆターム'].str.contains('(4C100 CA03|4C100 CA04|4C100 CA05|4C100 CA06|4C100 CA07|4C100 CA08|4C100 CA09)'), '公報番号']

df10 = df2[df2['公報番号'].isin(CA03list)]
df11 = df2[df2['公報番号'].isin(NOTCA03list)]

p3 = Line(df10['公報番号'].groupby(df10['出願日'].dt.year).count(), plot_width=600, plot_height=200, legend = False)
p3.xaxis.axis_label = '出願年'
p3.yaxis.axis_label = '出願件数'
show(p3)

p4 = Line(df11['公報番号'].groupby(df11['出願日'].dt.year).count(), plot_width=600, plot_height=200, legend = False)
p4.xaxis.axis_label = '出願年'
p4.yaxis.axis_label = '出願件数'
show(p4)

df12 = df11[df11['出願人'].isin(df11['公報番号'].groupby(df11['出願人']).count().nlargest(10).index)]
df12 = df12.pivot_table(index=df12['出願日'].dt.year, columns='出願人', values='公報番号', aggfunc='count')
df12

p5 = Line(df12, plot_width=800, plot_height=400)
p5.xaxis.axis_label = '出願年'
p5.yaxis.axis_label = '出願件数'
p5.legend.location = "top_right"
p5.legend.label_text_font_size = '5pt'
show(p5)

df13 = df6[df6['公報番号'].isin(NOTCA03list)]

df14 = df13[(df13['出願人'].isin(df11['公報番号'].groupby(df11['出願人']).count().nlargest(10).index)) & (df13['Ｆターム'].isin(df13['公報番号'].groupby(df13['Ｆターム']).count().nlargest(10).index))]
df15 = df14.pivot_table(index='出願人', columns='Ｆターム', values='公報番号', aggfunc='count', margins=True)
df15 = df15.sort_values(by=["All"], ascending=False)
df15 = df15.sort_values(by=["All"], axis=1, ascending=False)
df15 = df15.drop("All", axis=1)
df15 = df15.drop("All", axis=0)
df15

count3 = []
for x in df15.apply(tuple):
    count3.extend(x)

data = {
  '出願人': list(df15.index) * len(df15.columns),
  'Ｆターム':  [item for item in list(df15.columns) for i in range(len(df15.index))],
  '件数':   count3,
}

p6 = HeatMap(data, x='Ｆターム', y='出願人',values='件数', title='出願人別Ｆターム別件数', stat=None)
show(p6)

df16 = df13.loc[df13['Ｆターム'].str.contains('(4C100 DA00|4C100 DA01|4C100 DA02|4C100 DA03|4C100 DA04|4C100 DA05|4C100 DA06|4C100 DA07|4C100 DA08|4C100 DA09|4C100 DA10|4C100 DA11|4C100 DA12|4C100 DA20)')]
df16 = df16[(df16['出願人'].isin(df11['公報番号'].groupby(df11['出願人']).count().nlargest(10).index))]

df17 = df16.pivot_table(index='出願人', columns='Ｆターム', values='公報番号', aggfunc='count')
count3 = []
for x in df17.apply(tuple):
    count3.extend(x)

data = {
  '出願人': list(df17.index) * len(df17.columns),
  'Ｆターム':  [item for item in list(df17.columns) for i in range(len(df17.index))],
  '件数':   count3,
}

p7 = HeatMap(data, x='Ｆターム', y='出願人',values='件数', title='出願人別Ｆターム別件数', stat=None)
show(p7)

前回までの処理手順を踏襲して、今回は新しいデータで分析を行ってみます。家電量販店等で並んでいるマッサージ機のデータを用いてみます。Fターム「4C100」の2006年以降出願分になります。処理内容はおおむね前回まで説明した内容と同じですので、Jupyter Notebookの画面のみで説明は飛ばしていきます。

import pandas as pd
import numpy as np

df1 = pd.read_excel('patentdata2.xlsx')

df1.head()

df1['公報番号'].groupby(df1['出願日'].dt.year).count()

apns = df1['出願人'].map(lambda x: x.split(";"))

ser1 = pd.Series(np.hstack(apns.values))

unique_apns = ser1.str.strip().unique()
unique_apns.sort()

def filter_df_by_apn(df, apn):
    apn_df = df.loc[df['出願人'].map(lambda x: apn in x)].copy()
    apn_df['出願人'] = apn
    return apn_df

apn_df_list =[filter_df_by_apn(df1, apn) for apn in unique_apns]

df2 = pd.concat(apn_df_list)
df2 = df2.loc[:,['公報番号','出願人','出願日']]
df2.sort_values('公報番号', inplace=True)
df2.head()

df2['公報番号'].groupby([df2['出願人'], df2['出願日'].dt.year]).count()

import difflib as diff

for (str1, str2) in [
    (str1, str2)
    for str1 in unique_apns
    for str2 in unique_apns
    if str1 < str2
    ]:
    # 類似度を計算、0.0~1.0 で結果が返る
    s = diff.SequenceMatcher(None, str1, str2).ratio()
    if s > 0.7:
        print (str1, "<->", str2)
        print ("match ratio:", s, "\n")

df2.loc[df2['出願人'] == 'エレクトロメド，インコーポレイテッド', '出願人'] = 'エレクトロメド・インコーポレイテッド'
df2.loc[df2['出願人'] == 'エレメメディカルインコーポレイテッド', '出願人'] = 'エレメ・メディカル・インコーポレイテッド'
df2.loc[df2['出願人'] == 'コーニンクレッカフィリップスエヌヴェ', '出願人'] = 'コーニンクレッカフィリップスエレクトロニクスエヌヴィ'
df2.loc[df2['出願人'] == 'タイコヘイルスケアグループエルピー', '出願人'] = 'タイコ・ヘルスケアー・グループ・エルピー'
df2.loc[df2['出願人'] == 'パナソニックＩＰマネジメント株式会社', '出願人'] = 'パナソニック株式会社'
df2.loc[df2['出願人'] == '光▲いく▼金▲屬▼有限公司', '出願人'] = '光▲いく▼金屬有限公司'

df3 = df2['公報番号'].groupby([df2['出願人'], df2['出願日'].dt.year]).count()
df2['公報番号'].groupby(df2['出願人']).count().nlargest(10)

fts = df1['Ｆターム'].map(lambda x: x.split(';'))

ser2 = pd.Series(np.hstack(fts.values))

unique_fts = ser2.str.strip().unique()
unique_fts.sort()

def filter_df_by_ft(df, ft):
    ft_df = df.loc[df['Ｆターム'].map(lambda x: ft in x)].copy()
    ft_df['Ｆターム'] = ft
    return ft_df

ft_df_list =[filter_df_by_ft(df1, ft) for ft in unique_fts]

df4 = pd.concat(ft_df_list)
df4 = df4.loc[:,['公報番号','Ｆターム','出願日']]
df4.sort_values('公報番号', inplace=True)
df4.head()

df5 = df4.copy()
df5['Ｆターム'] = df5['Ｆターム'].str[0:5]
df5.head()

df5 = df5.drop_duplicates()
df5.head()

df6 = pd.merge(df2, df4, on='公報番号')
df6.head()

df4['公報番号'].groupby(df4['Ｆターム']).count().nlargest(10)

df7 = df6[(df6['出願人'].isin(df2['公報番号'].groupby(df2['出願人']).count().nlargest(10).index)) & (df6['Ｆターム'].isin(df4['公報番号'].groupby(df4['Ｆターム']).count().nlargest(10).index))]

df8 = df7.pivot_table(index='出願人', columns='Ｆターム', values='公報番号', aggfunc='count', margins=True)

df8 = df8.sort_values(by=["All"], ascending=False)
df8 = df8.sort_values(by=["All"], axis=1, ascending=False)
df8 = df8.drop("All", axis=1)
df8 = df8.drop("All", axis=0)
df8

df9 = df2[df2['出願人'].isin(df2['公報番号'].groupby(df2['出願人']).count().nlargest(10).index)]
df9 = df9.pivot_table(index=df9['出願日'].dt.year, columns='出願人', values='公報番号', aggfunc='count')
df9

from bokeh.charts import output_notebook, Bar, Line, HeatMap, show
from bokeh.palettes import RdYlGn6
output_notebook()

p1 = Line(df1['公報番号'].groupby(df1['出願日'].dt.year).count(), plot_width=600, plot_height=200, legend = False)
p1.xaxis.axis_label = '出願年'
p1.yaxis.axis_label = '出願件数'
show(p1)

p2 = Line(df9, plot_width=800, plot_height=400)
p2.xaxis.axis_label = '出願年'
p2.yaxis.axis_label = '出願件数'
p2.legend.location = "top_right"
show(p2)

count3 = []
for x in df8.apply(tuple):
    count3.extend(x)

data = {
  '出願人': list(df8.index) * len(df8.columns),
  'Ｆターム':  [item for item in list(df8.columns) for i in range(len(df8.index))],
  '件数':   count3,
}

p3 = HeatMap(data, x='Ｆターム', y='出願人',values='件数', title='出願人別Ｆターム別件数', stat=None)
show(p3)

前回の出願人の切り分け処理から今度は特許分類の切り分けを行っていきます。どれでも良いのですが、FIで行っていくことにします。出願人と異なり特許分類データは統制されているはずなので名寄せは気にしません。切り分け部分は出願人の切り分けで用いたものを流用していきます。

fis = df1['ＦＩ'].map(lambda x: x.split(';'))

ser2 = pd.Series(np.hstack(fis.values))

unique_fis = ser2.str.strip().unique()
unique_fis.sort()

def filter_df_by_fi(df, fi):
    fi_df = df.loc[df['ＦＩ'].map(lambda x: fi in x)].copy()
    fi_df['ＦＩ'] = fi
    return fi_df

fi_df_list =[filter_df_by_fi(df1, fi) for fi in unique_fis]

df4 = pd.concat(fi_df_list)
df4 = df4.loc[:,['公報番号','ＦＩ','出願日']]
df4.sort_values('公報番号', inplace=True)
df4.head()

df5 = df4
df5['ＦＩ'] = df5['ＦＩ'].str[0:4]
df5.head()

df5 = df5.drop_duplicates()
df5.head()

df6 = pd.merge(df2, df5, on='公報番号')
df6.head()

df7 = df6.pivot_table(index='出願人', columns='ＦＩ', values='公報番号', aggfunc='count', margins=True)
df7

df7 = df7.sort_values(by=["All"], ascending=False)
df7 = df7.sort_values(by=["All"], axis=1, ascending=False)
df7

import difflib as diff

for (str1, str2) in [
        (str1, str2)
        for str1 in unique_apns
        for str2 in unique_apns
        if str1 < str2
    ]:
    # 類似度を計算、0.0~1.0 で結果が返る
    s = diff.SequenceMatcher(None, str1, str2).ratio()
    if s > 0.7:
        print (str1, "<->", str2)
        print ("match ratio:", s, "\n")

df2.loc[df2['出願人'] == 'インテルアイピーコーポレイション', '出願人'] = 'インテルコーポレイション'
df2.loc[df2['出願人'] == 'インテル・コーポレーション', '出願人'] = 'インテルコーポレイション'
df2.loc[df2['出願人'] == 'ローベルトボツシユゲゼルシヤフトミツトベシユレンクテルハフツング', '出願人'] = 'ローベルトボッシュゲゼルシャフトミットベシュレンクテルハフツング'

df3 = df2['公報番号'].groupby([df2['出願人'], df2['出願日'].dt.year]).count()

import xlsxwriter
df3.to_excel('apn_list.xlsx')

import pandas as pd
import numpy as np

df1 = pd.read_excel('patentdata.xlsx')

df1.head()

df1['出願日'].dt.year.head()

df1['公報番号'].groupby(df1['出願日'].dt.year).count()

df1['公報番号'].groupby([df1['出願人'], df1['出願日'].dt.year]).count()

from gensim.models import word2vec

data = word2vec.Text8Corpus('ZITsw2v.txt')

model = word2vec.Word2Vec(data, size=200)

out=model.most_similar(positive=[u'データ'])

out

out=model.most_similar(positive=[u'通信'])

out

import matplotlib as mpl 
from sklearn.manifold import TSNE
import pandas as pd

vocab = list(model.wv.vocab)
X = model[vocab]

tsne = TSNE(n_components=2)
X_tsne = tsne.fit_transform(X)

df = pd.concat([pd.DataFrame(X_tsne),
                pd.Series(vocab)],
               axis=1)
df.columns = ['x', 'y', 'word']
from matplotlib.font_manager import FontProperties
font_path = '/usr/share/fonts/truetype/takao-gothic/TakaoGothic.ttf'
font_prop = FontProperties(fname=font_path)
mpl.rcParams['font.family'] = font_prop.get_name()

fig = mpl.pyplot.figure(num=None, figsize=(40, 30), dpi=80, facecolor='w', edgecolor='k')
ax = fig.add_subplot(1, 1, 1)
ax.scatter(df['x'], df['y'])
for i, txt in enumerate(df['word']):
    ax.annotate(txt, (df['x'].iloc[i], df['y'].iloc[i]))