傀儡師の館.Python

Ruby

(0)

甘い物

Profile

kugutsushi

フォローする

Free Space

設定されていません。

< 新しい記事

新着記事一覧(全1864件)

過去の記事 >

2003.02.01

Today 2003-02-01

文字コードというのは、普通の人にとって非常に厄介な話なのだが財団法人日本規格協会符号化文字集合調査研究委員会（新JCS委員会）（長いねー）が JIS X 0213 改正原案の公開レビューを求めている。よく専門家だけでｘｘｘｘを決めてとかいう話が出るが、こうやって、一般に対してレビューやコメントを求めているものは案外多い。だが、ファイル壊れていて読めない～。うーん、困ったものだね。

○ 未知語についてさらに (Python で人工無能)

「１９９９年」や「４月３日」のようなものについては、次のようにちょっと人工無能側では扱いにくい形になっている。これは形態素解析がいけないわけではなく、そういうものなんだけど。じゃあ、どう扱うかというところが問題。

１９９９年。
１名詞，数，*，*，*，*，１，イチ，イチ
９名詞，数，*，*，*，*，９，キュウ，キュー
９名詞，数，*，*，*，*，９，キュウ，キュー
９名詞，数，*，*，*，*，９，キュウ，キュー
年名詞，接尾，助数詞，*，*，*，年，ネン，ネン

1999年
1999 未知語，*，*，*，*，*，*，*，*
年名詞，一般，*，*，*，*，年，トシ，トシ

４月３日。
４月名詞，副詞可能，*，*，*，*，４月，シガツ，シガツ
３名詞，数，*，*，*，*，３，サン，サン
日名詞，接尾，助数詞，*，*，*，日，ニチ，ニチ

4 未知語，*，*，*，*，*，*，*，*
月名詞，一般，*，*，*，*，月，ツキ，ツキ
3 未知語，*，*，*，*，*，*，*，*
日名詞，接尾，一般，*，*，*，日，ビ，ビ

月の扱いだけ特別扱いで不純な気がするが、まあ、とにかく英数字を半角にすべてあらかじめしておいて形態素解析に流して未知語として後で扱うか、あるいは全角にしておいて扱うか。ちょっと迷う。未知語にしておいて後処理の方が扱いやすい気もするし。

「ＩＢＭ」なんかは固有名詞として登録されているけれど、半角のIBM はとうぜん未知語になる。「ＡＣミラン」とか「ＡＦＬＡＣスクェア」とかの類もせっかく辞書に登録されているのに、半角にして流したら未知語になってしまうのもなんだな。「ＡＰ通信，3031，名詞，固有名詞，組織」こういう「組織」という情報はあとで使えるわけだし捨ててしまうのはもったいない。となると、やっぱり、全角に全部変換しておいてから形態素解析に流すというのがよさそうだ。まあ、本来、そういう使い方が前提だから当然なんだけど。英数字を登録してとなると、じゃあ、「ＩＢＭ」と「IBM」の両方を登録するかとなったら無駄だしな。

次のように部分的に登録されているものも、けっこうやだな。やっぱり、半角にしてわざと未知語にしておいて、後処理で未知語を全般的に扱う処理を作った方がいいな。元辞書からバッサリエントリを削除して、未知語に流れるものを多くした上でルール化すると。

ＧＩＡＤＩＥ。
ＧＩＡ名詞，固有名詞，組織，*，*，*，ＧＩＡ，ジーアイエイ，ジーアイエイ
Ｄ記号，アルファベット，*，*，*，*，Ｄ，ディー，ディー
Ｉ記号，アルファベット，*，*，*，*，Ｉ，アイ，アイ
Ｅ記号，アルファベット，*，*，*，*，Ｅ，イー，イー
。記号，句点，*，*，*，*，。，。，。

GIADIE。
GIADIE 未知語，*，*，*，*，*，*，*，*
。記号，句点，*，*，*，*，。，。，。

ときおり、辞書のエントリを見ると笑えるものがある。「Ａ子，2886，名詞，固有名詞」とか登録されているのだな。「Ａ子」はあるけど、実は「Ｂ子」はない（笑）「広島ＹＭＣＡ」はあるけれど、「名古屋ＹＭＣＡ」はない。とか、まあ、辞書としての純粋さって何？という話もある(MeCab が使っている IPA 辞書っていうのは、そういうものなのだな)。

また、動詞に関しても、「走り続ける」「呼び続ける」が登録されているが、「読み続ける」「泣き続ける」なんかは登録されていない。でも、その割には登録されたエントリが使われていなかったりするな（笑）。つまり、MeCab の場合、登録されていようがいまいが変わらない。

私は叫び続けた。
私名詞，代名詞，一般，*，*，*，私，ワタシ，ワタシ
は助詞，係助詞，*，*，*，*，は，ハ，ワ
叫び動詞，自立，*，*，五段・バ行，連用形，叫ぶ，サケビ，サケビ
続け動詞，非自立，*，*，一段，連用形，続ける，ツヅケ，ツズケ
た助動詞，*，*，*，特殊・タ，基本形，た，タ，タ
。記号，句点，*，*，*，*，。，。，。

私は泣き続けた。
私名詞，代名詞，一般，*，*，*，私，ワタシ，ワタシ
は助詞，係助詞，*，*，*，*，は，ハ，ワ
泣き動詞，自立，*，*，五段・カ行イ音便，連用形，泣く，ナキ，ナキ
続け動詞，非自立，*，*，一段，連用形，続ける，ツヅケ，ツズケ
た助動詞，*，*，*，特殊・タ，基本形，た，タ，タ
。記号，句点，*，*，*，*，。，。，。

JUMAN の場合は、登録がストレートに反映されているので、次のようになっている。「叫び続ける」は登録されているから１つ、「泣き続ける」は登録されていないので「泣き」「続ける」と２つに分けられる。

私は叫び続ける。
私 (わたし) 私普通名詞
は (は) は副助詞
叫び続ける (さけびつづけ叫び続ける動詞母音動詞基本形
。 (。) 。句点

私は泣き続ける。
私 (わたし) 私普通名詞
は (は) は副助詞
泣き (なき) 泣く動詞子音動詞カ行基本連用形
続ける (つづける) 続ける動詞母音動詞基本形
。 (。) 。句点

ふーん。アルゴリズムの違いってことか。形態素解析の純粋さからいったら、MeCab の方が一貫してる結果でいいんだけど。どうせ出てこないエントリだったら削除しちゃったらダメなんだろうか。JUMAN 用の辞書とごっちゃになって変になっちゃったかな。

うーん、ヘンなところにはまり込んでしまったな。人工無能を作ろうとしているのか、形態素解析の後処理を作ろうとしているのかわからなくなってきてしまった(^^;;

うーむ。しかし、人工無能をできるだけ単純にするには、やっぱり、ここをやってやらねばいかんしなー。こういうのをやり始めると、結局は辞書ってことになってきちゃうのだよな。ここにハマるか、先に進むか迷うところだ。うーん。でも、やっぱり、辞書の中をもうちょっとちゃんと見てみることにしよう。

お気に入りの記事を「いいね！」で応援しよう