2003年11月の記事一覧 | 傀儡師の館.Python

科学技術振興機構シソーラス用語インデックス

科学技術振興機構(JST) が，約43，000語にのぼる科学技術分野の検索用キーワード集をシソーラス用語インデックスとして公開している。シソーラスとは，「エアコン」「空調機」「空調装置」「空気調和装置」といった感じに類義語を並べたもの。シソーラスとオントロジー(言語工学研究所)。まあ，一般用語であれば言語工学研究所シソーラス(類語)検索を使った方がいいだろうが，科学技術振興事業団のは科学技術用語が，ちゃんと階層構造としてあらわされているのがいい。「JST(JICST)科学技術シソーラス1999年版」に基づいているものらしい。これはすばらしい～～。再利用はしにくいけど...。けっこう泥臭く，再構成しないと手元において使えない。ちなみに，上記のシソーラスは ACADEMIC RESOURCE GUIDE で知った。メールマガジンを購読できるので，すごく便利で役立つ。1998-07-11 から続けているようだ。すごい！

CaboCha を ctypes で使ってみようとしたが玉砕

日本語係り受け解析器 CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzerを Python から使うのに，ctype から使えるようにしてみようかと思って，まずは，ctype の方を見てみることにした。ctypes に関しては，奈良先端科学技術大学院大学情報科学研究科 21 世紀 COE 研究員の Yasushi Masudaさんが日本語訳されているので，これを参考にさせてもらうことにする。ん，この方も，奈良先端科学技術大学院大学。MeCab や CaboCha のくどうたくさんも奈良先端科学技術大学院大学。こういう先端科学技術大学院大学構想ってのは，誰が作ったのかは知らないが，奈良先端科学技術大学院大学は成功なんだろうな。Nature や Science にも，バイオサイエンス系で論文が掲載されているみたいだし。でも，バイオはぜんぜん分からんので読む気にもならない。その他，NAIST 産学連携提案テーマベースなんていうページもある。眺めてみると，おもしろいかな。で本題の ctype を見てみる。ctypes が何かというと「ctypes は，C データ型を Python から生成したり操作し，またダイナミックリンクライブラリや共有 DLL 内の関数を呼び出したりするための Python パッケージです．このパッケージにより，ライブラリを pure Python でラップすることができます．」(上記，日本語訳より)ということだな。要するに Python から C のライブラリを呼び出すためにつかうもので，特に Python 用に書かれたモジュールじゃなくても，Python から呼び出せるようにしてしまうものと考えればいいだろう。同じようなものとしては，calldll というのがあったけれど，アップデートももう行われていないようだし，ctypes の方がよさそうなので，ctypes を使うことにする。COM フレームワークにも対応したので，Windows で使うには便利に使えそうだし，それだけでなく Linux や MacOSX でも動くというところもよいかな。でもって，まず Source forge から ctypes をダウンロードしてくる。私は Python は 2.3 を使っているのでctypes-0.6.2a.win32-py2.3.exe をダウンロードしてきた。ダウンロードしてきた実行ファイルをダブルクリックするとインストーラが起動するので，簡単にインストールできた。で，次にチュートリアルをやってみる。とりあえず，Linux のところは飛ばしてしまう。けど，これもしかして Linux で使っても便利なのかもしれないと記憶にとどめておくことにする。「ctypes では，多くのプリミティブな C 互換データ型を定義しています」ということで，pure Python だと，あまり型を気にしなくていいけど，さすがに C のライブラリを呼び出すときには，型を意識しないとだめなのだな。ctypes の型は，c_char，c_byte， c_ubyte， c_short， c_ushort， c_int， c_uint， c_logn， c_ulong， c_longlong， c_ulonglong， c_char_p， c_wchar_p， c_void_p とあって，C の型に対応するような感じになっている。で，たとえば符号なしの整数(c_uint)に -3 を与えると，値が範囲外ということでエラーになると。　　＞＞＞ c_uint(-3)　　Traceback (most recent call last):　　 File "＜stdin＞"， line 1， in ?　　ValueError: Value out of rangeあとは，可変のメモリブロックが必要な場合には，c_buffer があるのだな。で，実際に C のライブラリを呼び出してみると，次の例のようなのがあって，Python 整数型，文字列型，unicode 文字列型は明示的に指定しなくてもよいが，それ以外だと，いちいち値を渡すときに型を指定してあげないといけないと。まあ，ちと面倒。タイプレスのプログラミングばかりしていると，こういうのがめんどくさく感じる。堕落してしまうのだ(笑)。　　＞＞＞ printf("%f bottles of beer\n"， 42.5)　　これはエラーになる。　　＞＞＞ printf("%f bottles of beer\n"， c_double(42.5))　　42.500000 bottles of beer　　これはOK。　　＞＞＞ printf.argtypes = [c_char_p， c_double]　　＞＞＞ printf("%f\n"， 13.5)　　13.500000　　10　　というように，あらかじめ引数の型を指定しておくこともできるのだな。なるほど傀儡師の実験室， Windows 版の time.time() は精度が悪いで出てきた，GetTickCount なんかも，windll.kernel32.GetTickCount() とかすれば使えてしまうのだな。便利便利。日本語訳の「不完全型」のところに「XXX ここに書かれた昨日は完全にはうまく動作しないようです XXX」と typo があった。「昨日」は「機能」だな。あと，「table = FrozenTable.in_dll(pdll， "PyImport_FrozenModules")」の「pdll」は「pydll」だと思う。「for item in table:」の例のところは改行が入っていないので，見難くなっている。って，本人にメールでも出してフィードバックしてあげればいいのだけど，私は匿名だからなぁ...。で，試しながら一通り読み通す。最後の例とかは，なぜかエラーが出て，同じようにならない(原文をチェックしてみた同じになっている。若干，動きが変わったのかな)。_fields_ = ("x"， "i")， ("y"， "i")のところを，_fields_ = ("x"， c_int)， ("y"， c_int) としたら同じような動きになった。がまあいいや。でもって，だいたいイメージが分かったので，あとは，実際に使ってみながら試してみることにする。あとは，傀儡師の実験室の「CaboCha を ctypes で使ってみようとしたが玉砕」を参照。おまけに，TinyBlog をちょといじって使っていたのだが，id が 10 になったら，バグが発覚(^^;; ようするに，sort するのにid をキーにしていたのだが，何も考えず sort 関数を入れていたので 10 は 1 の次に来てしまっている(0， 1， 11， 2)。放置しておこうと思ったが，あまりに情けないので，即直した。頭悪すぎ。しかし，まあ，最初に書いたのが 2003/03/08 なので，バグが発覚する2桁まで，8ヶ月近くかかってしまったというのも我ながらすごい(笑)。あと，1ページを15個の記事になるように設定してあったのだが，ページぐりがついていなかったので，15個を超えると，超えた分については，まったく表示されなくなってしまう。とりあえず，最初の5個だけ表示してあとは，タイトルのみにしてしのいでおこう。これに加えて TinyBlog は保存されているときに Title と body の区別がないので，タイトルを切り出そうとすると最初の行をとってくることになる。実に単純なプログラムなので，まともなものにしようとしたら，ほんとに全部書き直しだなぁ。

ＥＤＲ電子化辞書がリニューアル

EDR (日本電子化辞書研究所)がどうなったかと思って久々に見てみると，ＥＤＲ電子化辞書がリニューアルということだった(平成15年10月1日)。「最近の新聞記事や、既存のEDR日本語コーパス内からも未知語を収集し、追加」したらしい。各辞書あたり120万円で相変わらずの価格。辞書一揃えで...。で，EDR 電子化辞書は，独立行政法人通信総合研究所の所有になっている。また，こういう独立行政法人ってのは，ほんとにあれこれあってわからん。平成13年度には186億円近くの運営交付金と施設設備補助金を受けているようだが，たくさんこういうのがあるんだろうな。レベルの高い辞書が自由に使えないってのは，ほんとうに致命的。これとはまた違うが，ライセンス上まったく問題なく無料で使える日本語フォントがない国ってのもなんだなと思う。日本語をコンピュータで自由に自由に扱うのは，無料だと非常に難しいということになる。情報インフラは国が整え共有するって考え方が，そもそもないんだろうか。道路はあんなにたくさん，お金を使っているのにね。

Windows版Python の time.time() は Linux より精度が悪い

久々に、傀儡師のプログラミング日記の方に書き込んだ。Windows 版の time.time() は精度が悪いということだが、オチは自分の無知を悟るということになった。そして、新たに Python を学習した。普通知ってるよな～それくらいと、まともな Python 使いからは言われてしまいそうだ。Python はプラットフォーム間の互換性が高いと思っていたが、やはりプラットフォームの影響を受けることも意外なところであるということを思い知った。普段からマニュアルやソースをちゃんと読んでいないとダメだな。なぜこういうことをし始めたかというと、プログラムを作るときに、そろそろ処理速度も気にしてみるかなというところなので、プロファイラをちゃんと使いこなそうというところにたどり着いたのであった。あと、書きかけで頓挫していた IndexCatalog はいいサンプルを見つけたので、また、そのうち書くことにしよう。

CaboCha/南瓜を少し食べてみる (1)

やっぱり、まじめに書くと疲れるし長続きしないから、ちょっとずつ、また、書くことにしよう。って前も思った気がするのだがまあいいや。本題は後半にして、最近見た映画は、次のようなもの。『復讐の街』（モニカベルッチ）、『６０セカンズ』（ニコラスケイジ）、『クローサー』（スーチー）、『ムーラン・ルージュ』（ニコールキッドマン）、『マトリックス・リローデッド』（キアヌリーブス）、『８人の女たち』（カトリーヌドヌーブ）、『カンパニーマン』（ジェレミーノーザム）、『ブラッドワーク』（クリントイーストウッド）、『陰陽師安倍清明』（）、『アメリカン・スウィートハート』（ジュリアロバーツ）など。あと５本あったのだけど、控えがどこかにいってしまったので忘れてしまった。マトリックスはまあ、一般的に面白かったのでいいとして、『ムーラン・ルージュ』が気に入ってしまった。自分の好きな曲がたくさん使われていてよかった。ある意味、すごく単純で好きなのだ。あと、頭の方で『サウンドオブミュージック』の中の曲も使われているのだけど、おもしろい使い方をしている。それと、二つの曲を同時に絡ませて使うのは、『ウェストサイド・ストーリー』なんか思い出したりして。とにかく、最近見た中では『ムーラン・ルージュ』が、このところでは一番よかった。ちなみに「ムーラン・ルージュ」で Google で検索すると風俗店とか出てきちゃうのね。まいりました(行きましたではない)。☆CaboCha/南瓜を少し食べてみる (1)日本語係り受け解析器 CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzerを少し使い始めてみようかと突然、思った。前にちょこっと試してみたことがあったと思うが、パタパタとあれこれ入力して試していると、「今日も気分がさえない。だからなんだというのだ。」みたいのを解析させると、＜DATE＞今日＜/DATE＞も---D　　　　　　　気分が-D　　　　　　さえない。-----D　　　　　　　　　だから-D ｜　　　　　　　　　なんだと-D　　　　　　　　　いうのだ。EOSのようになるのであった。そうか、ちゃんと、一文一文、区切って使わないといけないのか、これは。まあ、いいや。と、この程度で切り上げて、今日は終わり。

日本語をとりまく環境の調査

ジャストシステムが「日本語をとりまく環境の調査」を公開している。こういう質問を約3000人を対象にして行った結果らしい。サンプルがかなり偏っているとかいう話はおいておいて、まあ、よく見ると面白い。こういう質問って、回答者に実はある価値観を潜在的に植えつけるものであったりするのだな(笑)。そして、結果を公開することによって、さらにそれを見る人の中にも、そうした価値観を植えつけると。みぢかな日本語みたいなページもできているが、まあ、こうやって地道に日本語に関心を持たせて...という方向は悪くないとは思う。ずっと勘違いしていて、あとになって正確な日本語を知った言葉はありませんか？なんてのは、そのうち製品に誤り訂正の例として製品に組み込まれたりとかいうのもありえるな。略称－学校名とか、略称－地名なんてのもそうだけど。これは、投稿者の居住地のランキングが面白い。全国方言WEB ほべりぐとかも。「ATOK16 for Windows用のご当地辞書」なんてのも公開されているのね。ちなみに、このページにあるATOK16 for WindowsのMicrosoft Office2003への対応状況について公開しましたのリンク切れてる。「該当する回答がありません。」だと。なめとんのか～。

第２回「外来語」言い換え提案

国立国語研究所「外来語」委員会の第２回「外来語」言い換え提案が出ていた(2003年11月13日)。言い換え語等一覧(理解度順「全体」の★の数が少ない順)のページを見るのがわかりやすい。おもしろいと思ったのは、ダンピング。この言葉だけ、 60歳以上 ★★★☆(その語を理解する人が国民の４人に３人に満たない段階)で、全体の★★☆☆(その語を理解する人が国民の２人に１人に満たない段階)より理解度が高いということ。他の単語は、60才以上の人がだいたい理解度が低いもしくは全体と同じものなので、これだけちょっと異質なのだ。若い人が意外にダンピングという言葉を知らないのだろうか。ところで、こういうのを趣意書とか見ないで、個々の単語の言い換えについてのみ批判する人がいるけど、「例えば，高齢者の介護や福祉に関する広報誌の記事は，読み手であるお年寄りに配慮した表現を用いることが，本来何よりも大切にされなければならないはずです。多くの人を対象とする新聞・放送等においても，一般になじみの薄い専門用語を不用意に使わないよう十分に注意する必要があります。」という意図はきちんと把握した上で批判するならした方がいいだろう。「そして，それに基づいて個々の外来語に対する考え方やその言い換え例を含めた，緩やかな目安・よりどころを具体的に提案することを目指しています。この委員会の提案がきっかけとなり，より多くの人々がそれぞれの立場で，私達の大切な日本語について考えていく機会が生まれることになれば幸いです。」とあるように、日本語を考えるきっかけとして、意味ある提案だと思う。そういえば、国立国語研究所平成15年度公開研究発表会話し言葉のデータベース―『日本語話し言葉コーパス』―を見ると、『日本語話し言葉コーパス』は、2004年春に完成なのだな。で、どういう公開の仕方になるんだろう...。

日本語係り受け解析器 CaboCha-PKE すごすぎ

日本語係り受け解析器の CaboCha-PKE は、すごい領域にいってしまったようだ。「通常の CaboCha は， PKI という手法を使っていて，単純な定義通りの SVM 分類器を構築するより 10-12倍高速です. つまり， PKE は，定義通りの分類器より 70-80倍高速だと思います.」と書いてある。すごい速そうなんだが、「動作には， 1Gbyte 以上の実メモリ， 1Gbyte のディスク用量，できるだけ速い CPU が必要です.」とある。なんとも豪勢な環境が必要なのだな。いわゆる富豪プログラミングというやつか。でも、昨今のPCの進化の度合いを考えると、この程度なら許容できる範囲かもしれない。それにしても起動時に400MBのモデルを読み込んじゃうというのもすごい。そんなわけで、大量のバッチ処理的に行う構文解析用ってことで、一文単位の解析には従来の CaboChaを使った方がよいとのことだ。とにかく、思い切ってやっちゃっうところがスゴイ。しかし、考えてみたら、いまどき PCを何十台あるいは何百台も使ってどうこうしている人もいるわけだから、分野は違うにせよ、そんなものに比べたら、むちゃくちゃ安上がりかもしれない(笑)。ちなみに、CaboCha-PKE のページの下の方にある CaboCha のリンクは、URL が違ってますです(cabocha が CaboCha になっている)。