傀儡師の館.Python

Ruby

(0)

甘い物

Profile

kugutsushi

フォローする

Free Space

設定されていません。

< 新しい記事

新着記事一覧(全1864件)

過去の記事 >

2003.03.04

久々に自分で肉を焼いて食べた。なんて生活だ(笑)。このところのお気に入りは、ノルウェー産の子持ちシシャモ。安くてうまいのでいい。体にもいいしね。で、たまには自分で肉を焼いて食べようと豚肉を買ってきた。やっぱりコンビニの弁当についている肉より自分で焼いた肉の方がうまい。鉄のフライパンにしっかり油をひいて焼いて食う。テフロン加工のフライパンは焦げ付かなくていいのだけど、やっぱり鉄のフライパンで焼いた方が肉はうまい。

○ 形態素解析器ベンチマーク (Python で人工無能)

しばらく前に形態素解析器のベンチマークをしようと思っていてすっかり忘れていた。ということで、簡単なベンチマークをやってみた。この機械翻訳用の試験文から日本語だけを切り出して５回繰り返すテキストファイルを作っやってみた。それとは別に、１文だけ入れたファイルを作って、500回繰り返すというアバウトなテストをやってみた。

比較したのは、MeCab、Chasen、JUMAN、Breakfast、kakasi。結果として、改めてびっくりしたのは MeCab の優秀さだった。最初のテストでは、 MeCab ＜ kakasi ＜ Chasen ＜ Breakfast ＜ JUMAN だが、MeCab が圧倒的にかつ信じられないほど速く、kakasi なんか目じゃないという強さ。JUMAN はお役目ご苦労様でしたという感じ。２番目のテストでは、 kakasi ＜ MeCab ＜ Breakfast ＜ JUMAN ＜ Chasen という感じになった。MeCab は kakasi にかなりよい線で張り合っているが(それでもやっぱり kakasi は速い)、Breakfast、JUMAN、Chasen は、お話にならないぐらいに２つに比べて遅い。

ここから、１文単位で動かす場合は、kakasi がサイズが小さいし、中身が単純なだけに有利に働くということが分かる。これに対して、Chasen はやたらと起動時間に時間がかかっているという感じ。いったん起動して解析を始めれば、量が多くなるほど kakasi のメリットは見えなくなっていく(つまり、純粋な解析速度そのものはそれほど速くない)。ただ、１文単位でそんなに形態素解析を行うようなことは、なんらかの自然言語処理のプログラムでも作らない限りはあり得ず、数十キロバイト単位のインデックス用のキーワードの切り出しに使うのであれば、Chasen が kakasi にそれほど劣った速度にはならないはず。ということで、全文検索用に kakasi か chasen のどちらがいいかということになれば、基本的に Chasen を使った方がいいんじゃないのと思える。また、MeCab はどういう条件でもばかに速いので、キーワードインデックスの切り出しなど一定度のテキスト容量がある場合には、kakasi よりも MeCab の方が速度的にも有利になるはず。で、kakasi はもうお役目ご苦労様になる。それに、kakasi はキーワードの切り出しにしても、分かち書きが適当でない場合もやはりやや多いし・・・。

Breakfast は、Chasen より起動が速いせいか単文の場合やや速いものの、量がある場合は Chasen と順位が逆転した。また、MeCab とはまったく張り合えるような速度ではなかった。MeCab はこれで、安定度して使えるという評価を得られれば、kakasi や Chasen にとって代わるケースが増えるだろう。が、辞書登録がやや面倒とか、その他、若干、使用上の問題において chasen に劣る部分があるので、完全に置き換わることにはならないかもしれないが。まあ、個人的には、これから MeCab をもっと使い込んでいこうという確信を強める結果ではあった。

で、試してみた結果、MeCab はやっぱりかなり優秀だった。ほんとにびっくり。Chasen の新しいバージョンはどうだろう。機能が若干削られて、Dart を取り入れているだけに、速度向上は期待できる。そのうち試してみよう。

なんにしても、ベンチマークをするときには、どういう単位(量)を扱うかということも、ちゃんと検討しなくてはいけないなというのも改めて感じた。

お気に入りの記事を「いいね！」で応援しよう