mecabに独自の辞書の追加する。
最終的には、wikipediaや、hatenaのデータもオリジナル辞書に入れる
ここに、https://mecab.googlecode.com/svn/trunk/mecab/doc/dic.html
書いてあることを基本的にはやったまで。
ただ、文字コード周りや、足らないファイルや、バックアップについて
など、メモしとく
たたいたコマンドの先頭には、#を入れておく
■概要
-------------------------
mecabへオリジナル辞書追加方法には、システム辞書への追加
ユーザー辞書への追加の2種類がある。
辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう
とのことなので、システム辞書への追加を行う
■現状の確認
-------------------------
Scientific Linux release 6.0 (Carbon)
mecab-0.996-1.el6.x86_64
mecab-ipadic-2.7.0.20070801-8.el6.1.x86_64
が入っている状態
■やりたいこと
-------------------------
#mecab
綾小路きみまろ
綾小路 名詞,固有名詞,人名,姓,*,*,綾小路,アヤノコウジ,アヤノコージ
きみ 名詞,一般,*,*,*,*,きみ,*,*,wikipedia
まろ 名詞,一般,*,*,*,*,まろ,*,*,wikipedia
EOS
これを、「綾小路きみまろ」という名詞として認識させたい
■バックアップと新たなシステム辞書設置場所の用意
-------------------------
mecabの設定状況はこんな感じ
#cat /etc/mecabrc
;
; Configuration file of MeCab
;
; $Id: mecabrc.in,v 1.3 2006/05/29 15:36:08 taku-ku Exp $;
;
dicdir = /usr/lib64/mecab/dic/ipadic
; userdic = /home/foo/bar/user.dic
; output-format-type = wakati
; input-buffer-size = 8192
; node-format = %m\n
; bos-format = %S\n
; eos-format = EOS\n
システム辞書は、dicdirを見ているのがわかるので、こいつのバックアップを
とっておく。
#cp /usr/lib64/mecab/dic/ipadic /usr/lib64/mecab/dic/ipadic.org
これからの作業で、おかしくなる可能性があるので、必ずオリジナルのバックアップを
やっておくこと。以降の項目で、dicdirのパスを書き換えるが、うまくいかなくなったら、
dicdirのパスをオリジナルに向けなおせば、元の状態に戻る
新しいシステム辞書を置くディレクトリを掘る
#cp -r /usr/lib64/mecab/dic/ipadic /usr/lib64/mecab/dic/ipadic.update.v1
■準備
-------------------------
1.コスト自動推定の機能を使う準備
https://code.google.com/p/mecab/downloads/detail?name=mecab-ipadic-2.7.0-20070801.model.bz2
ここから、 mecab-ipadicのモデルファイルをダウンロードする
解凍して、utf8にして
/tmpに置いとく
2.ipadicのオリジナルをダウンロードする
http://sourceforge.net/projects/mecab/files/mecab-ipadic/2.7.0-20070801/
↑ここから、ipadicのオリジナルをダウンロードして、解凍する
中に、*.def *.csvが存在するので、それを全て、utf8化して、
/usr/lib64/mecab/dic/ipadic.update.v1/配下に置く
ちゃんとutf8化しておかないと、後で痛い目にあう
3.設定ファイルの変更
#vi /etc/mecabrc
;
; Configuration file of MeCab
;
; $Id: mecabrc.in,v 1.3 2006/05/29 15:36:08 taku-ku Exp $;
;
;dicdir = /usr/lib64/mecab/dic/ipadic
dicdir = /usr/lib64/mecab/dic/ipadic.update.v1
にして、保存
■オリジナル辞書の作成
-------------------------
1.オリジナル辞書の元データの用意
mecabの辞書のフォーマットは、
表層形,左文脈ID,右文脈ID,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音
となっている。
なんのこっちゃわからんが、とりあえず、
#cat /tmp/test.csv
綾小路きみまろ,,,,名詞,一般,*,*,*,*,綾小路きみまろ,*,*,this_is_test_dic
※最後に、改行は入れない
を用意する
2.オリジナル辞書の作成
左文脈ID,右文脈ID,コストの部分には値が入っていないので、その値を下記の方法でセット
#/usr/libexec/mecab/mecab-dict-index -m /tmp/mecab-ipadic-2.7.0-20070801.model.utf8 -d /usr/lib64/mecab/dic/ipadic.update.v1 -u test2.csv -f utf8 -t utf8 -a test.csv
-m:コスト自動推定の機能を使うデータの場所
-d:システム辞書のディレクトリのパス
-u:オリジナル辞書出力先
-f:-dの文字コード（デフォがutf8）
-t:csvの文字コード
-a:オリジナル辞書を作成する元データ
/tmp/mecab-ipadic-2.7.0-20070801.model is not a binary model. reopen it as text mode...
reading test.csv ...
done!
できた。
#cat test2.csv
綾小路きみまろ,1285,1285,7336,名詞,一般,*,*,*,*,綾小路きみまろ,*,*,testdic
左文脈ID,右文脈ID,コストの部分にデータが入っているのが確認できる
■システム辞書アップデート
-------------------------
test2.csvができたので、/usr/lib64/mecab/dic/ipadic.update.v1にそのファイルを持っていく
#ls /usr/lib64/mecab/dic/ipadic.update.v1
上記のような状態になっているはず。
#cd /usr/lib64/mecab/dic/ipadic.update.v1
#/usr/libexec/mecab/mecab-dict-index -f utf8 -t utf8
reading ./unk.def ... 40
emitting double-array: 100% |###########################################|
./model.def is not found. skipped.
reading ./Noun.name.csv ... 34202
reading ./Noun.number.csv ... 42
reading ./Noun.verbal.csv ... 12146
reading ./Others.csv ... 2
reading ./Symbol.csv ... 208
reading ./test2.csv ... 1
reading ./Prefix.csv ... 221
reading ./Noun.place.csv ... 72999
reading ./Interjection.csv ... 252
reading ./Adnominal.csv ... 135
reading ./Noun.csv ... 60477
reading ./Suffix.csv ... 1393
reading ./Adj.csv ... 27210
reading ./Noun.nai.csv ... 42
reading ./Noun.demonst.csv ... 120
reading ./Noun.adjv.csv ... 3328
reading ./Postp.csv ... 146
reading ./Filler.csv ... 19
reading ./Verb.csv ... 130750
reading ./Noun.org.csv ... 16668
reading ./Auxil.csv ... 199
reading ./Noun.others.csv ... 151
reading ./Postp-col.csv ... 91
reading ./Noun.adverbal.csv ... 795
reading ./Adverb.csv ... 3032
reading ./Noun.proper.csv ... 27327
reading ./Conjunction.csv ... 171
emitting double-array: 100% |###########################################|
reading ./matrix.def ... 1316x1316
emitting matrix : 100% |###########################################|
done!
#mecab
綾小路きみまろ
綾小路きみまろ 名詞,一般,*,*,*,*,綾小路きみまろ,*,*,testdic
EOS
#mecab
すもも
すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ
EOS
■出会ったエラーたち
-------------------------
feature_index.cpp(81) [ifs] no such file or directory: /usr/lib64/mecab/dic/ipadic/feature.def
このエラーは、■準備:2でをちゃんとやること
viterbi.cpp(59) [tokenizer_->dictionary_info()->lsize == connector_->left_size() && tokenizer_->dictionary_info()->rsize == connector_->right_size()] Transition table and dictionary are not compatible
このえらーも、■準備:2でをちゃんとやることdefファイルがなかった
context_id.cpp(96) [it != left_.end()] cannot find LEFT-ID for 名詞,一般,*,*,*,*,*
■オリジナル辞書の作成:1のフォーマットでやればいける
■wikipediaを突っ込んでみる
-------------------------
1.データのダウンロード
#wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz
から持ってくる
2.不要な文字列を削って、オリジナル辞書のフォーマットを作る
下記ファイルを用意
#cat grepptn
^.{1,3}$
page_title
^[0-9-]+$
曖昧さ回避
^日本の
^日本に
^日本と
^日本で
^中国の
^中国に
^中国と
^中国で
^アメリカの
^アメリカに
^アメリカと
^アメリカで
^ヨーロッパの
^ヨーロッパに
^ヨーロッパと
^ヨーロッパで
_\(何か\)$
一覧$
の登場人物$
^[0-9]{4}[年|_]
^[0-9]+月[0-9]+日
で、オリジナル辞書を作るシェルを実行
#for i in $(sed -e "s/,//g" jawiki-latest-all-titles-in-ns0 | pcregrep -vf grepptn )
#do
# echo "$i,,,,名詞,一般,*,*,*,*,$i,*,*,wikipedia" >> newdic.csv
#done
これは、「,」が含まれるとおかしくなるので、それをsedで取り除いて、
pcregrepにて、不要なレコードを除外するシェル。
pcregrepのfオプションで、不要なファイルを除外するパターンファイルを指定している
3.左文脈ID,右文脈ID,コストを生成
#/usr/libexec/mecab/mecab-dict-index -m /tmp/mecab-ipadic-2.7.0-20070801.model.utf8 -d /usr/lib64/mecab/dic/ipadic.update.v1 -u wikidic.csv -f utf8 -t utf8 -a newdic.csv
これで、wikidic.csvにデータが出力されるはず
4.システム辞書に追加
/tmpに生成された、wikidic.csvをusr/lib64/mecab/dic/ipadic.update.v1に持ってきて
#cd /usr/lib64/mecab/dic/ipadic.update.v1
#/usr/libexec/mecab/mecab-dict-index -f utf8 -t utf8
で、出来上がり
■hatenaキーワードを突っ込んでみる
-------------------------
1.データのダウンロード
#wget wget http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv
から持ってくる
あとは、一緒
おしまい
最終的には、wikipediaや、hatenaのデータもオリジナル辞書に入れる
ここに、https://mecab.googlecode.com/svn/trunk/mecab/doc/dic.html
書いてあることを基本的にはやったまで。
ただ、文字コード周りや、足らないファイルや、バックアップについて
など、メモしとく
たたいたコマンドの先頭には、#を入れておく
■概要
-------------------------
mecabへオリジナル辞書追加方法には、システム辞書への追加
ユーザー辞書への追加の2種類がある。
辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう
とのことなので、システム辞書への追加を行う
■現状の確認
-------------------------
Scientific Linux release 6.0 (Carbon)
mecab-0.996-1.el6.x86_64
mecab-ipadic-2.7.0.20070801-8.el6.1.x86_64
が入っている状態
■やりたいこと
-------------------------
#mecab
綾小路きみまろ
綾小路 名詞,固有名詞,人名,姓,*,*,綾小路,アヤノコウジ,アヤノコージ
きみ 名詞,一般,*,*,*,*,きみ,*,*,wikipedia
まろ 名詞,一般,*,*,*,*,まろ,*,*,wikipedia
EOS
これを、「綾小路きみまろ」という名詞として認識させたい
■バックアップと新たなシステム辞書設置場所の用意
-------------------------
mecabの設定状況はこんな感じ
#cat /etc/mecabrc
;
; Configuration file of MeCab
;
; $Id: mecabrc.in,v 1.3 2006/05/29 15:36:08 taku-ku Exp $;
;
dicdir = /usr/lib64/mecab/dic/ipadic
; userdic = /home/foo/bar/user.dic
; output-format-type = wakati
; input-buffer-size = 8192
; node-format = %m\n
; bos-format = %S\n
; eos-format = EOS\n
システム辞書は、dicdirを見ているのがわかるので、こいつのバックアップを
とっておく。
#cp /usr/lib64/mecab/dic/ipadic /usr/lib64/mecab/dic/ipadic.org
これからの作業で、おかしくなる可能性があるので、必ずオリジナルのバックアップを
やっておくこと。以降の項目で、dicdirのパスを書き換えるが、うまくいかなくなったら、
dicdirのパスをオリジナルに向けなおせば、元の状態に戻る
新しいシステム辞書を置くディレクトリを掘る
#cp -r /usr/lib64/mecab/dic/ipadic /usr/lib64/mecab/dic/ipadic.update.v1
■準備
-------------------------
1.コスト自動推定の機能を使う準備
https://code.google.com/p/mecab/downloads/detail?name=mecab-ipadic-2.7.0-20070801.model.bz2
ここから、 mecab-ipadicのモデルファイルをダウンロードする
解凍して、utf8にして
/tmpに置いとく
2.ipadicのオリジナルをダウンロードする
http://sourceforge.net/projects/mecab/files/mecab-ipadic/2.7.0-20070801/
↑ここから、ipadicのオリジナルをダウンロードして、解凍する
中に、*.def *.csvが存在するので、それを全て、utf8化して、
/usr/lib64/mecab/dic/ipadic.update.v1/配下に置く
ちゃんとutf8化しておかないと、後で痛い目にあう
3.設定ファイルの変更
#vi /etc/mecabrc
;
; Configuration file of MeCab
;
; $Id: mecabrc.in,v 1.3 2006/05/29 15:36:08 taku-ku Exp $;
;
;dicdir = /usr/lib64/mecab/dic/ipadic
dicdir = /usr/lib64/mecab/dic/ipadic.update.v1
にして、保存
■オリジナル辞書の作成
-------------------------
1.オリジナル辞書の元データの用意
mecabの辞書のフォーマットは、
表層形,左文脈ID,右文脈ID,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音
となっている。
なんのこっちゃわからんが、とりあえず、
#cat /tmp/test.csv
綾小路きみまろ,,,,名詞,一般,*,*,*,*,綾小路きみまろ,*,*,this_is_test_dic
※最後に、改行は入れない
を用意する
2.オリジナル辞書の作成
左文脈ID,右文脈ID,コストの部分には値が入っていないので、その値を下記の方法でセット
#/usr/libexec/mecab/mecab-dict-index -m /tmp/mecab-ipadic-2.7.0-20070801.model.utf8 -d /usr/lib64/mecab/dic/ipadic.update.v1 -u test2.csv -f utf8 -t utf8 -a test.csv
-m:コスト自動推定の機能を使うデータの場所
-d:システム辞書のディレクトリのパス
-u:オリジナル辞書出力先
-f:-dの文字コード（デフォがutf8）
-t:csvの文字コード
-a:オリジナル辞書を作成する元データ
/tmp/mecab-ipadic-2.7.0-20070801.model is not a binary model. reopen it as text mode...
reading test.csv ...
done!
できた。
#cat test2.csv
綾小路きみまろ,1285,1285,7336,名詞,一般,*,*,*,*,綾小路きみまろ,*,*,testdic
左文脈ID,右文脈ID,コストの部分にデータが入っているのが確認できる
■システム辞書アップデート
-------------------------
test2.csvができたので、/usr/lib64/mecab/dic/ipadic.update.v1にそのファイルを持っていく
#ls /usr/lib64/mecab/dic/ipadic.update.v1
Adj.csv Interjection.csv Noun.name.csv Noun.verbal.csv Symbol.csv dicrc rewrite.def Adnominal.csv Noun.adjv.csv Noun.number.csv Others.csv Verb.csv feature.def right-id.def Adverb.csv Noun.adverbal.csv Noun.org.csv Postp-col.csv left-id.def sys.dic Auxil.csv Noun.csv Noun.others.csv Postp.csv matrix.bin test2.csv Conjunction.csv Noun.demonst.csv Noun.place.csv Prefix.csv char.bin matrix.def unk.def Filler.csv Noun.nai.csv Noun.proper.csv Suffix.csv char.def pos-id.def unk.dic
上記のような状態になっているはず。
#cd /usr/lib64/mecab/dic/ipadic.update.v1
#/usr/libexec/mecab/mecab-dict-index -f utf8 -t utf8
reading ./unk.def ... 40
emitting double-array: 100% |###########################################|
./model.def is not found. skipped.
reading ./Noun.name.csv ... 34202
reading ./Noun.number.csv ... 42
reading ./Noun.verbal.csv ... 12146
reading ./Others.csv ... 2
reading ./Symbol.csv ... 208
reading ./test2.csv ... 1
reading ./Prefix.csv ... 221
reading ./Noun.place.csv ... 72999
reading ./Interjection.csv ... 252
reading ./Adnominal.csv ... 135
reading ./Noun.csv ... 60477
reading ./Suffix.csv ... 1393
reading ./Adj.csv ... 27210
reading ./Noun.nai.csv ... 42
reading ./Noun.demonst.csv ... 120
reading ./Noun.adjv.csv ... 3328
reading ./Postp.csv ... 146
reading ./Filler.csv ... 19
reading ./Verb.csv ... 130750
reading ./Noun.org.csv ... 16668
reading ./Auxil.csv ... 199
reading ./Noun.others.csv ... 151
reading ./Postp-col.csv ... 91
reading ./Noun.adverbal.csv ... 795
reading ./Adverb.csv ... 3032
reading ./Noun.proper.csv ... 27327
reading ./Conjunction.csv ... 171
emitting double-array: 100% |###########################################|
reading ./matrix.def ... 1316x1316
emitting matrix : 100% |###########################################|
done!
#mecab
綾小路きみまろ
綾小路きみまろ 名詞,一般,*,*,*,*,綾小路きみまろ,*,*,testdic
EOS
#mecab
すもも
すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ
EOS
■出会ったエラーたち
-------------------------
feature_index.cpp(81) [ifs] no such file or directory: /usr/lib64/mecab/dic/ipadic/feature.def
このエラーは、■準備:2でをちゃんとやること
viterbi.cpp(59) [tokenizer_->dictionary_info()->lsize == connector_->left_size() && tokenizer_->dictionary_info()->rsize == connector_->right_size()] Transition table and dictionary are not compatible
このえらーも、■準備:2でをちゃんとやることdefファイルがなかった
context_id.cpp(96) [it != left_.end()] cannot find LEFT-ID for 名詞,一般,*,*,*,*,*
■オリジナル辞書の作成:1のフォーマットでやればいける
■wikipediaを突っ込んでみる
-------------------------
1.データのダウンロード
#wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz
から持ってくる
2.不要な文字列を削って、オリジナル辞書のフォーマットを作る
下記ファイルを用意
#cat grepptn
^.{1,3}$
page_title
^[0-9-]+$
曖昧さ回避
^日本の
^日本に
^日本と
^日本で
^中国の
^中国に
^中国と
^中国で
^アメリカの
^アメリカに
^アメリカと
^アメリカで
^ヨーロッパの
^ヨーロッパに
^ヨーロッパと
^ヨーロッパで
_\(何か\)$
一覧$
の登場人物$
^[0-9]{4}[年|_]
^[0-9]+月[0-9]+日
で、オリジナル辞書を作るシェルを実行
#for i in $(sed -e "s/,//g" jawiki-latest-all-titles-in-ns0 | pcregrep -vf grepptn )
#do
# echo "$i,,,,名詞,一般,*,*,*,*,$i,*,*,wikipedia" >> newdic.csv
#done
これは、「,」が含まれるとおかしくなるので、それをsedで取り除いて、
pcregrepにて、不要なレコードを除外するシェル。
pcregrepのfオプションで、不要なファイルを除外するパターンファイルを指定している
3.左文脈ID,右文脈ID,コストを生成
#/usr/libexec/mecab/mecab-dict-index -m /tmp/mecab-ipadic-2.7.0-20070801.model.utf8 -d /usr/lib64/mecab/dic/ipadic.update.v1 -u wikidic.csv -f utf8 -t utf8 -a newdic.csv
これで、wikidic.csvにデータが出力されるはず
4.システム辞書に追加
/tmpに生成された、wikidic.csvをusr/lib64/mecab/dic/ipadic.update.v1に持ってきて
#cd /usr/lib64/mecab/dic/ipadic.update.v1
#/usr/libexec/mecab/mecab-dict-index -f utf8 -t utf8
で、出来上がり
■hatenaキーワードを突っ込んでみる
-------------------------
1.データのダウンロード
#wget wget http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv
から持ってくる
あとは、一緒
おしまい