2006年07月の記事一覧 | 傀儡師の館.Python

MeCab REST Web Service と Cabocha REST Web Service

ふらついていたら、次のものを見つけた。CaboCha REST Web ServiceMeCab REST Web Service日本語形態素解析器 MeCab と係り受け解析器 Cabocha をそれぞれ python binding を使って Zope の External Method として実装してサービス化したものらしい。それにしても、REST って分かったような分からないような言葉の一つだが、まあ、あちこち見ても、いまいち分かったような分からないようななので放っておく。XFY住所録とか、Just System の xfy を使ってなにやらしているようで、そういう文脈で見るとおもしろいのかな。XFY住所力のXFY Basic Edition で参照している画面(ｘｆy_addressbook.xvcdのスクリーンショット) 。xfy Comunity Downloads - xfy Address Book XVCD Play DEMO でもこれはダウンロードできるようになっている。そっち方面の人なのかな。でもって、形態素解析結果など修正した上で MeCab に学習させて辞書を作るなんていうことをしようとするときには、こうやって xfy を使ったらもしかして見やすく、効率的に解析結果を修正するなんていうこともできるのかなとふと思った。

コントレックスでお茶を点てる

販売期間 07月22日10時00分～07月25日23時55分限定。なんと…たった1円ミネラルウォーターのコントレックスって、今あちこちで投げ売りしているのね。キャンペーンなのか処分なのかよく分からないが。上記のリンクとは別の投げ売りで買ったものを飲んでみたが、やはり、硬水って今ひとつ日本（人）に合わないからなのかな。ダイエット水として売るしかないといった感じか。カルシウムとマグネシウムが多いようで飲んだ感じが硬い。それにしても、硬水、軟水というのは、うまい銘々だと思う。でもって、コントレックスで茶を点てたらどうなるか実験してみる。まぁ、正直なところはダメ。お茶には硬水は基本的に合わないと思った。今ひとつ好みに合わない抹茶があって、ちょっと違った感じにして飲みたいというのであればいいけれど（ちょっと深みが出るような感じにはなる）、やっぱりこれは違うなぁという感じ。コントレックスはコーヒーを入れるのならいいけれど、お茶には合わないが結論。水はその土地のものが一番合うんじゃないかな。ミネラルウォーターの類も海外で飲むときと、日本で飲むときと味が違って感じる。海外で飲むときの方が明らかにうまい。体が欲するものが微妙に変わっているせいじゃないかな。宇治がお茶で有名になった原因の一つには、やっぱりその土地の水というのもあったのだろう（今は昔とは違うだろうが）。茶どころ宇治の最後の名水桐原水など見てみると、やっぱり軟水なのだな。やる前から、何となくは分かっていても、やっぱり思いつきでやってみたくなったことは、やってみないと気が済まないのであった。お茶を点てるときに、使う水によって明確に味が変わるということは実践で経験できた。極端なことをやると物事よく分かるのだ。

曖昧な見出し

NTTや総務省など，日英のキャリアと規制当局が集団討論の見出しを見て、キャリアの意味を取り間違えた。総務省だとか、当局という言葉があるので、公務員のキャリア官僚だと思ったのだが、実は、NTTやKDDI，英BT などの通信事業者（＝キャリア）のことだった。NTT, 総務省, 日英, 規制当局と並べてよくよく考えてみると、なるほど最初から通信事業者の意味にちゃんととれる場合/人もあるだろう。このキャリアを文脈からどちらの意味かを機械的に切り分けるとすると、NTT、BT があるのが通信キャリアにとってのポイント、総務省、当局、集団討論等はキャリア官僚のキャリアに近そう。「日英の」係り先は、「キャリア」と「規制当局」の双方になるはずだが、直前が「NTTや総務省など」のと並列されている言葉が来ているため、「日英のキャリア」と「規制当局」と読めてしまう（つまり、係り先がキャリアのみ）。「キャリア」にはBTなどが含まれるから明確に「日英のキャリア」は成り立ち、「規制当局」は本文を見れば英国の規制当局も含まれるわけだから、「日英の規制当局」も成り立つ。「NTTや総務省など」の係り先は、知識が前提としてなければ、「キャリア」になるが、総務省はキャリアではないから「規制当局」に係る。言葉同士が複雑な関係になっている。「NTTや総務省など，日英のキャリアと規制当局が集団討論」という文を読んだ後、「ブリティッシュ・テレコムが集団討論に加わった可能性は高いか低いか？」と質問されて答えがぱっと出るだろうか？一定の知識レベルにある人にとっては、本来、「高い」と一瞬のうちで答えが出るはずなのに、この文からだと、そうはならないだろう。こういう記事は、見出しは曖昧さをできるだけ下げる方向で書いて欲しいなと思った。わざと部分的に見ると誤解を招く見出しを付けるスポーツ新聞の見出しと違うのだから。とはいえ、同じ文字数で同じ情報量というのは意外に難しいし、NTTや総務省といったキーワードを含めたかったというのもあるのだろうな。ニュース記事の見出しというものは、通常の口語を中心とした日本語文法とはちょっと違う世界にいるなぁと、改めて思った。ガンホー元社員、不正アクセスで逮捕--ゲーム内通貨を不正操作し販売に見られるように、頭にもってきた言葉というのは、目を引きやすい/感心を引きやすいものにする傾向がある。そんなわけで、頭の単語だけを使って（あるいはウェイトを高くして）、検索語の評価点とするのは有効といえば有効ということか。頭の単語だけを使った検索エンジンなんていうのがあってもおもしろい。

MeCab 0.92 を使ってみる (1)

久々に MeCab を使って遊ぶことにした。最新のバージョン 0.92 をダウンロードしてインストール。その前にインストールしてあった、ちょっと古めのバージョン 0.90rc8 と比較してみる。形態素解析結果の違いを見てみると、何気にかなりの差分が出る。未知語で固有名詞に倒していたものが名詞に倒すようになったとかあるのかな。例えば、「ヒューレット・パッカード」を新しくできた -x オプションを付けて「mecab -x UNKNOWN」で解析してみると、ヒューレット・パッカード UNKNOWNと解析される。辞書に登録されているかどうかは、辞書作成用の csv ファイルを検索しなくても、こうしてみれば簡単にチェックできるようになった。地味だが案外嬉しい。以前のバージョンとの違いで気になるところを見てみると、次のようなものがある。五郎が犯人である可能性今の解析五名詞,数,*,*,*,*,五,ゴ,ゴ郎名詞,一般,*,*,*,*,郎,ロウ,ローが助詞,格助詞,一般,*,*,*,が,ガ,ガ犯人名詞,一般,*,*,*,*,犯人,ハンニン,ハンニンで助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デある助動詞,*,*,*,五段・ラ行アル,基本形,ある,アル,アル可能名詞,形容動詞語幹,*,*,*,*,可能,カノウ,カノー性名詞,接尾,一般,*,*,*,性,セイ,セイ以前の解析五郎名詞,固有名詞,人名,名,*,*,五郎,ゴロウ,ゴローが助詞,格助詞,一般,*,*,*,が,ガ,ガ犯人名詞,一般,*,*,*,*,犯人,ハンニン,ハンニンで助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デある助動詞,*,*,*,五段・ラ行アル,基本形,ある,アル,アル可能名詞,形容動詞語幹,*,*,*,*,可能,カノウ,カノー性名詞,接尾,一般,*,*,*,性,セイ,セイ三郎に変えてみても同じような解析結果になる。ところが、一郎、太郎や次郎の場合は、正しく解析できる。辞書と未知語処理の関係かな。試しに、辞書に三郎や五郎が登録されているかどうかを見てみると、やはり三郎や五郎は登録されていない。正しく解析したければ、これらの単語も登録してやる必要がある。不思議といえば不思議なのだが、次のような解析結果に変わっているところを見ると、何となく、傾向がつかめそうな気がする。数詞＋名詞の場合は、前の形態素とつなげなくなったような気がする。今の解析結果ベロウソフ・アレクサンドル・ワシーリエヴィッチ第一国防次官兼参謀総長ベロウソフ・アレクサンドル・ワシーリエヴィッチ名詞,一般,*,*,*,*,*第接頭詞,数接続,*,*,*,*,第,ダイ,ダイ一名詞,数,*,*,*,*,一,イチ,イチ国防名詞,一般,*,*,*,*,国防,コクボウ,コクボー次官名詞,一般,*,*,*,*,次官,ジカン,ジカン兼名詞,接続詞的,*,*,*,*,兼,ケン,ケン参謀名詞,一般,*,*,*,*,参謀,サンボウ,サンボー総長名詞,一般,*,*,*,*,総長,ソウチョウ,ソーチョー以前の解析結果ベロウソフ・アレクサンドル・ワシーリエヴィッチ名詞,固有名詞,一般,*,*,*,*第接頭詞,数接続,*,*,*,*,第,ダイ,ダイ一国防次官兼参謀総長名詞,数,*,*,*,*,*ベロウソフ・...のようなものは「・」で切って欲しい気がするがそれは置いておき、「第」「一国防次官兼参謀総長」よりも「第」「一」「国防」「次官」「兼」「参謀」「総長」の方が細かく正確に分けてくれている分よくなっている。次の例も、三菱の「三」を以前は数詞として解釈して、後ろの名詞をつなげていたのかもしれない。「三菱重工業長崎造船所主任」で「名詞,数」と解析されていたから。このあたりもよくなった点。三菱重工業長崎造船所主任の手記今の解析三菱重工業名詞,固有名詞,組織,*,*,*,三菱重工業,ミツビシジュウコウギョウ,ミツビシジューコーギョー長崎造船所名詞,固有名詞,組織,*,*,*,長崎造船所,ナカザキゾウセンジョ,ナカザキゾーセンジョ主任名詞,一般,*,*,*,*,主任,シュニン,シュニンの助詞,連体化,*,*,*,*,の,ノ,ノ手記名詞,サ変接続,*,*,*,*,手記,シュキ,シュキ前の解析三菱重工業長崎造船所主任名詞,数,*,*,*,*,*の助詞,連体化,*,*,*,*,の,ノ,ノ手記名詞,サ変接続,*,*,*,*,手記,シュキ,シュキやはり、名刺連続複合語の扱いが変わっているのかな。下手につないでしまわないで分けるところは分けるというような形になったのだろうか。上の例ではよい方に倒れていると思うが（より、細かく解析してくれているので）、次の例だと悪い方に倒れている。今は「貢」「献策」だが、以前は「貢献」「策」。これはちょっと困る。たとえば、分かち書きの結果をインデックス作成に使っている場合、以前の解析結果なら「貢献」で検索ができたのに、今の結果だと「貢献」だとヒットしなくなる。中東和平に向けた貢献策今の解析中東名詞,固有名詞,地域,一般,*,*,中東,チュウトウ,チュートー和平名詞,一般,*,*,*,*,和平,ワヘイ,ワヘイに助詞,格助詞,一般,*,*,*,に,ニ,ニ向け動詞,自立,*,*,一段,連用形,向ける,ムケ,ムケた助動詞,*,*,*,特殊・タ,基本形,た,タ,タ貢名詞,一般,*,*,*,*,貢,ミツギ,ミツギ献策名詞,サ変接続,*,*,*,*,献策,ケンサク,ケンサク以前の解析中東和平に向けた貢献策を検討する。中東名詞,固有名詞,地域,一般,*,*,中東,チュウトウ,チュートー和平名詞,一般,*,*,*,*,和平,ワヘイ,ワヘイに助詞,格助詞,一般,*,*,*,に,ニ,ニ向け動詞,自立,*,*,一段,連用形,向ける,ムケ,ムケた助動詞,*,*,*,特殊・タ,基本形,た,タ,タ貢献名詞,サ変接続,*,*,*,*,貢献,コウケン,コーケン策名詞,接尾,一般,*,*,*,策,サク,サク他に、困った例としては、次のようなものがある。「小学館」が「小学」「館」に解析されるようになってしまった。講談社や小学館などの出版社今の解析講談社名詞,固有名詞,組織,*,*,*,講談社,コウダンシャ,コーダンシャや助詞,並立助詞,*,*,*,*,や,ヤ,ヤ小学名詞,一般,*,*,*,*,小学,ショウガク,ショーガク館名詞,接尾,一般,*,*,*,館,カン,カンなど助詞,副助詞,*,*,*,*,など,ナド,ナドの助詞,連体化,*,*,*,*,の,ノ,ノ出版名詞,サ変接続,*,*,*,*,出版,シュッパン,シュッパン社名詞,接尾,一般,*,*,*,社,シャ,シャ前の解析講談社名詞,固有名詞,組織,*,*,*,講談社,コウダンシャ,コーダンシャや助詞,並立助詞,*,*,*,*,や,ヤ,ヤ小学館名詞,固有名詞,組織,*,*,*,小学館,ショウガクカン,ショーガクカンなど助詞,副助詞,*,*,*,*,など,ナド,ナドの助詞,連体化,*,*,*,*,の,ノ,ノ出版名詞,サ変接続,*,*,*,*,出版,シュッパン,シュッパン社名詞,接尾,一般,*,*,*,社,シャ,シャ「小学館」が辞書に登録されているかどうかを見てみると、ちゃんと次のようなエントリがあるので、これはデグレードといえるかもしれない。小学館,1292,1292,6017,名詞,固有名詞,組織,*,*,*,小学館,ショウガクカン,ショーガクカン名詞連続複合語の扱いに関しては、まだよくなる余地があるなぁと感じる。辞書の作り方/サンプルの文書を変えるだけでも変わってくるのだろうけど。今日は名詞関連を見てみたが、それ以外でも微妙に違いが出ているようなので、明日以降にもう少しチェックしてみようかな。全般的に見て、解析結果がより細かく分かれるようになっているので、Namazu 等のインデックスを作成するための分かち書きをする場合には、0.92 を使うのが正解な気がする。また、品詞ID をつけることができるようになったので、解析結果を品詞単位でインデックスに追加する、しないの処理もやりやすくなったと思う。たとえば、インデックスに追加したいものは 1、それ以外は、2 以上の値を設定するようにしておけば、1のときはインデックス追加、それ以上なら追加しないなどといったことも分かりやすくできる。MeCab を使ってそうしたことをする場合の処理速度は確実に速くなるだろうから、これで Chasen の分かち書き結果を使って全文検索のインデックスを作っていた人も MeCab を使うようになりそうな気がする。

知識の習得

最近、なぜか抹茶に凝っているわけだが、新たなものを始めたときの知識習得の方法が以前と比べて変わったなと思う。以前ならとりあえず、ばかばかばかと本を買い集めて、一気に読んでというやり方だったのだが、この頃では、ネットでのんびり少しずつ検索しながら知識を仕入れているという感じで、速度は遅いものの、人からの伝聞で何か知識を仕入れていく感じに近いような感じもする。ただ、やっぱり体系的に短期間で一定量を得ようとすると案外難しい。本ほどの密度は得られない。断片的なものをもう少し自動的に集積してくれるような仕組みがあると嬉しいと思う。Google を使って検索ワードを中心にしていくやり方には限界がある。作成のプログラムのうち Perl で書かれていた部分がなくなって、辞書のコンパイルも数秒で済むようになったとかいうことなので、嬉しいかもしれない。「Google独占にはさせない」--国産検索エンジン開発へ、産学官が一致団結国産検索エンジンはなぜ必要なのか？--経産省担当者に聞くのような動きもあるようだが、これも、どうも自分が欲しい検索エンジンの方向性とは違う予感がする。なかなか欲しいものというのは出てこないものだなぁと思う。文字の世界でもまだまだ可能性はあるのにそれ以外のところに力が注がれそうな感じがする。俺様の知識習得に適した仕様の検索エンジンというのがやっぱり欲しい。なんて思っているところで、パーソナライズ検索、グーグルが探し当てていない正解とは (CNET) という記事を見つける。ユーザーは、信頼できる検索エンジンが、検索ボックスに入力した簡単なキーワードだけでなく自分のさまざまな意向を理解してくれることを期待している。そう。結局、今、何を得たいと思って（意図して）検索しているのかというところの満足感を求めているのだな。検索エンジンを使ったときの満足感を分析するようなところが欠けているのだろうか。「満足度研究検索エンジン site:ac.jp」とかを見たら、何かおもしろいものが見つかるだろうか。ぱっと見た目見つからない。検索エンジンを使うときの満足度がどのような要素から構成されるのか分析するようなものが上位に来て欲しい。「満足度因子分析研究検索エンジン site:ac.jp」これで検索した方がいいのだろうか。「検索エンジンを利用する際の満足度がどのような要素から構成されているのか」を知りたい分けだが、なかなか思ったようなものを検索するのには骨が折れる。そういえば、オープンソース形態素解析エンジンMeCab (和布蕪) 0.92 が公開されたようだが、mecab 0.93 では HMM を使った未知データからの学習を実装したいと思います。これができれば、wikipedia から自動辞書作成ができるかもしれません。-- takuおもしろい展開になってきた。これが可能になるとワクワク。また、久々に MeCab を使った遊びを始めることにしようかな。辞書作成のプログラムのうち Perl で書かれていた部分がなくなって、辞書のコンパイルも数秒で済むようになったとかいうことなので、嬉しいかもしれない。きまぐれ日記 MeCab: 字種に基づくわかち書きMeCab は辞書を使わない分かち書きをいくつかサポートしています。基本的に、文字種の定義とそれに対する未知語処理の定義で記述します。もちろん記述力としては正規表現にくらべれば乏しいですが、これまでの形態素解析器の未知語処理はほとんどの場合ハードコーディングされていたので、それにくらべれば進歩していると思います。一回この字種に基づく分かち書きの結果と、通常の付属する IPA 辞書を使った分かち書きの結果を比べてみたいなと思う。

抹茶のブレンド

抹茶のブレンド抹茶龍雲（りゅううん）30g 税込630円らくらく抹茶フルパック税込3,654円)先日、静岡茶の抹茶を買ってみた。値段が安いので、とりあえずいくつかまとめ買い。高いものと比べるとやっぱり劣るなぁという感じだが、あんまり贅沢ばかりしていてもなんなので、この程度でしばらく我慢してみる。それでも先日買った簡単便利御抹茶 100g 税込756円と比べると上等。でも、濃茶にすると、煎茶をしぶーく入れたときの味に近くなってしまって、このお茶は薄茶でどうぞという感じ。抹茶の量を多くして飲んでみると、そのお茶の持つ特性が明確になってくるのかな。苦みはあるけど、飲んだ後、口の中に甘みが残っているから、思ったより甘みお茶なのか。加えて、同じお茶でも、やはりお湯の温度や入れ方によっても、微妙に泡立ちや味が違うなと思う。細かい泡をきれいに作りたいなら、あまりお湯の温度が下がらないうちに入れた方がよいような感じがする。ものは試し。水と沸騰してすぐのお湯と、それぞれを茶碗に入れて、茶筅を振ってみる。水よりもお湯の方が細かい泡は生じやすいし、消えるまでの時間も長い。もちろん抹茶を入れているときのようにたくさんの泡を立てることはできない。短絡的に考えると、冷たい温度よりかは高い温度、抹茶の量は少ないより多い方が泡は立てやすいんじゃないかな。お湯の温度が高い方が泡が立てやすいとしても、温度が高い方が渋みや苦みが茶葉から出やすくなるわけだから、泡が立てやすい下限の温度で入れると甘めの抹茶が飲めるんだろうか。そういえば、お茶ってブレンドして売っているのだよなぁとふと思い、自分で、手持ちの抹茶をいくつかブレンドしてみることにした。御抹茶と伊藤園の手軽に抹茶と今回買った、龍雲。加えて、高いのを少しだけ混ぜてみる。案外、いいかもしれない。ちょっと普通に点てて飲むには何だなというレベルの御抹茶をベースにあれこれブレンドしてみると、けっこう飲めるレベルになった。安いものをベースにそれより高いものもあれこれ混ぜてかさを増すという戦法。低い方に当然引きずられることにはなるが、やりようによっては、案外自分好みの茶を作れる可能性も感じさせる。人間の味覚やその他の感覚は、それ以外の要素、例えば値段だとかブランドだとかに、左右されるいいかげんな面もあるから、高いものをほんの少しブレンドするなんていうことをするだけで気分的にもおいしく感じなきゃいけなくなってしまうのかもしれない。ちなみに、いくつも抹茶を明けてしまって大丈夫なのというところに関しては、全部冷凍庫行きにしているから大丈夫なんじゃないかなというところ。冷凍庫の抹茶のスペースがだんだんと増えてきてしまっているので、専用の冷凍庫も欲しくなってきた。かくして何かに始まる物欲というものは無限にふくれていくのかもしれない。私生活では、倒れた母の回復も好調で、システムのカットオーバーも問題は抱えつつ何とか済ませ、どっと疲れが出てきた今日この頃。今日一日は、仕事も休んで、自分のためにゆっくり休むことにしよう。「あわてない、あわてない、一休み一休み」。そんなときには、やっぱり抹茶でまったりなのであった。久々、囲碁でも打ってみる。13目でコンピュータ相手に勝負。うっ。ぼろ負け。このところ、まったくやっていなかったから、すっかり忘れている。一定度のレベルに行くまでは、こまめに続けないとダメだな。継続は力なり。まあ、これで抹茶と囲碁という、歳をとっても延々と続けられそうな趣味ができたので、そういう意味では案外近頃幸せかもしれない。あぁ、でも今日は部屋の片付けでもするかな。なんとはなしに、早朝から活動的な日なのでありました。