傀儡師の館.Python

Ruby

(0)

甘い物

Profile

kugutsushi

フォローする

Free Space

設定されていません。

< 新しい記事

新着記事一覧(全1863件)

過去の記事 >

2007.08.31

形態素解析にとって困った名前、町村大臣は困った存在

カテゴリ：ことばの処理

潘基文国連事務総長による町村大臣着任への祝意表明についてという文字列を、MeCab で形態素解析すると、


潘      名詞,固有名詞,人名,姓,*,*,潘,ハン,ハン
基      名詞,固有名詞,人名,名,*,*,基,ハジメ,ハジメ
文      名詞,一般,*,*,*,*,文,フミ,フミ
国連    名詞,固有名詞,組織,*,*,*,国連,コクレン,コクレン
事務    名詞,一般,*,*,*,*,事務,ジム,ジム
総長    名詞,一般,*,*,*,*,総長,ソウチョウ,ソーチョー
による  助詞,格助詞,連語,*,*,*,による,ニヨル,ニヨル
町村    名詞,一般,*,*,*,*,町村,チョウソン,チョーソン
大臣    名詞,一般,*,*,*,*,大臣,ダイジン,ダイジン
着任    名詞,サ変接続,*,*,*,*,着任,チャクニン,チャクニン
へ      助詞,格助詞,一般,*,*,*,へ,ヘ,エ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
祝意    名詞,一般,*,*,*,*,祝意,シュクイ,シュクイ
表明    名詞,サ変接続,*,*,*,*,表明,ヒョウメイ,ヒョーメイ
について        助詞,格助詞,連語,*,*,*,について,ニツイテ,ニツイテ

となる。潘基文の「潘」は登録されているから、「基文」を登録するのがいいか、「潘基文」で登録するのがいいか。形態素解析ということでちゃんとするなら「基文」を登録か。「モトフミ」という日本人もいるから、登録するなら「モトフミ」という形で入れておかないと確率的にはあれかな。でも、そうすると、「ハンモトフミ」となってしまう。「バン・ギムン」という読みは絶対に出てこないから読み上げをやる場合には、「潘基文」の一単語で登録しないとダメだろうな。でも、そうすると、「潘国連事務総長」と「潘基文国連事務総長」は同じにならない。とすると、読みは犠牲にして「基文」を登録した方がいいか。

一単語で登録しておいて、解析後にばらすマークを入れておいて、後処理に任せるというのも一つの手かもしれない。読みがいろいろ考えられる日本人の有名人の場合も、その手があるか。

「町村」氏を「名詞、固有名詞」で登録したら、どういう副作用が出るかな。「市町村」とかすると大丈夫かなと思ったが、「市町村」が一単語登録されているから副作用はなかった。でも、「各町村の調査」とか解析させると、「町村」は固有名詞になってしまう。

こういう困る名前って、実は、けっこうたくさんある。たんに分かち書きができていればいいという世界では問題にならないが、品詞を見て人名を拾うとかやろうとすると、登録しないわけにいかないし、登録すると悪影響がある。

ついでに機械読取渡航文書に関連する新技術情報の情報提供依頼（RFI）を解析すると、


機械    名詞,一般,*,*,*,*,機械,キカイ,キカイ
読取    動詞,自立,*,*,五段・ラ行,体言接続特殊２,読取る,ヨミト,ヨミト
渡航    名詞,サ変接続,*,*,*,*,渡航,トコウ,トコー
文書    名詞,一般,*,*,*,*,文書,モンショ,モンショ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
関連    名詞,サ変接続,*,*,*,*,関連,カンレン,カンレン
する    動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
新      接頭詞,名詞接続,*,*,*,*,新,シン,シン
技術    名詞,一般,*,*,*,*,技術,ギジュツ,ギジュツ
情報    名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
の      助詞,連体化,*,*,*,*,の,ノ,ノ
情報    名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
提供    名詞,サ変接続,*,*,*,*,提供,テイキョウ,テイキョー
依頼    名詞,サ変接続,*,*,*,*,依頼,イライ,イライ
（      記号,括弧開,*,*,*,*,（,（,（
RFI     名詞,固有名詞,組織,*,*,*,*
）      記号,括弧閉,*,*,*,*,）,）,）

と、解析される。そんなものがあるかは別にして「機械書込渡航文書」は、


機械    名詞,一般,*,*,*,*,機械,キカイ,キカイ
書      名詞,接尾,一般,*,*,*,書,ショ,ショ
込      名詞,一般,*,*,*,*,込,コミ,コミ
渡航    名詞,サ変接続,*,*,*,*,渡航,トコウ,トコー
文書    名詞,一般,*,*,*,*,文書,モンショ,モンショ


機械    名詞,一般,*,*,*,*,機械,キカイ,キカイ
書き込み        名詞,一般,*,*,*,*,書き込み,カキコミ,カキコミ
渡航    名詞,サ変接続,*,*,*,*,渡航,トコウ,トコー
文書    名詞,一般,*,*,*,*,文書,モンショ,モンショ

となる。「機械読み取り渡航文書」は


機械    名詞,一般,*,*,*,*,機械,キカイ,キカイ
読み取り        名詞,一般,*,*,*,*,読み取り,ヨミトリ,ヨミトリ
渡航    名詞,サ変接続,*,*,*,*,渡航,トコウ,トコー
文書    名詞,一般,*,*,*,*,文書,モンショ,モンショ

となる。

「読取」を動詞として解析するのはどうなのだろう。名詞を登録しちゃえ。「読取ってみる」「読取ります」を解析しても、ちゃんと動詞になる。ついでに、「書込」も名詞登録。「書込みます。書き込んだ」にも悪影響なし。

こうやって登録していくときに、悪影響があるかないか、Wikipedia を検索して、その文字列を含む例文を引っ張ってきて、デグレード試験をかけるとか、そういう仕組みが必要かな。あるいは、Google で検索して例文を引っ張ってくるか。でも Google だと、検索結果が変わってしまうから、やっぱり固定したものをまずやって、プラスで Google かな。めんどくさ。