単語単位のトークン化を使用するかどうかの設定について、ちょっと試したところ、こんな感じでした。
・「使用しない」方がマッチ率は上がる
・解析時だけでなく、作業時の動作にも影響する
えっと、私の認識はまったく逆でした。「単語単位のトークン化」というのは、upLIFT に関係する新しい機能で、これを使用するとマッチ率が上がると思っていました。
さらに、この設定は解析結果を以前のバージョンと同じ文字ベースの数字にするためだけに存在しているもので、実際のエディタでの作業には影響しないと思っていました。が、実際にこの設定を変えてみると、エディタでヒットしてくるメモリが変わりました。しかも、「使用しない」方がたくさんのメモリがヒットしてきます。(作業時には影響しない、というのは SDL さんにも確認したつもりだったのですが、何か認識のずれがあったのかもしれません。)
すみません、今回はとりあえず、混乱しているというご報告だけにさせてください。改めて、きちんと確認して記事を書きたいと思います。
