PR
Free Space
警察はスタンドプレーばかりで、地味な事件については何もしていない！！！
【中東の混乱】いつ終息するのか？本当に大迷惑！！
【デジタル公共事業の闇】マイナンバーカードの更新申請の制度欠陥
〖政治の貧困〗緊急銃猟って、政府、国会の無為無策の結晶か？
〖政治の貧困〗公共事業の誘致が地域政党の生きる道？万博の次は副首都？
〖政治の貧困〗物価高対策はどうなるの？理屈が破綻している？
〖OCNモバイルONE〗そろそろ終了が近いのか？格安SIMサービスの弱点を利用して解約させるのか？？非論理的で驚愕の対応！
〖超便利なTailscale VPN〗ロケフリ、アニメロッカーだけでなく、RDPも便利に
【消費税減税】消費税減税に反対の構図とは？
【ソニーロケフリのDDNS終了】ソニーのロケフリのDDNS（ダイナミックDNS）サービス停止後にロケフリを利用する方法
【中東の混乱】いつ終息するのか？本当に大迷惑！！
【デジタル公共事業の闇】マイナンバーカードの更新申請の制度欠陥
〖政治の貧困〗緊急銃猟って、政府、国会の無為無策の結晶か？
〖政治の貧困〗公共事業の誘致が地域政党の生きる道？万博の次は副首都？
〖政治の貧困〗物価高対策はどうなるの？理屈が破綻している？
〖OCNモバイルONE〗そろそろ終了が近いのか？格安SIMサービスの弱点を利用して解約させるのか？？非論理的で驚愕の対応！
〖超便利なTailscale VPN〗ロケフリ、アニメロッカーだけでなく、RDPも便利に
【消費税減税】消費税減税に反対の構図とは？
【ソニーロケフリのDDNS終了】ソニーのロケフリのDDNS（ダイナミックDNS）サービス停止後にロケフリを利用する方法
2019.09.10
カテゴリ： データ分析
楽天市場の商品レビューの分析ですが、「R言語」のコードで半自動化できるかどうかを検証しています。
一応、スクレイピングと簡単な棒グラフなどの「R」のコードは整備できてきました。
次に目指すのは、テキストマイニングの部分です。現在は、ユーザーローカルさんのテキストマイニングツールやKH Coder、Power BIを利用していますが、「R」のパッケージにもテキストマイニングツールがあるので、「R」だけでかなり多くの分析ができるのではないかと思います。
スクレイピングからテキストマイニングまで一気通貫にできれば、非常に楽ですし、コードが正確であるということが前提ですが、人手の作業によるミスを排除できるので、より正確な分析が可能になります。
▼ワードクラウドを作成できるようにするために、MeCabとRMeCabをインストール
まだ、テキストマイニング用のコードの整備を始めたばかりですが、早速、MeCabの辞書のコンパイルでつまづいてしまいました。
MeCabのデフォルトの辞書では、「！」「”」といった記号が「サ変接続の名詞」として登録されています。
「サ変接続の名詞」とは何でしょう。例えば「購入」のように、「した」とか「する」に接続するのが、「サ変接続の名詞」です。
「”」などの記号をRのコードで削除するという対処方法もありますが、処理の自動化とはかけ離れてしまいます。
根本的に対処するためには、辞書を修正する必要があります。
ネットで調べて、MeCabをインストールしたフォルダにある「unk.def」というファイルを修正して、上書きして、辞書を再設定すればいいことがわかりました。
「unk.def」をテキストエディターで開き、
「SYMBOL,1283,1283,17585,名詞,サ変接続,*,*,*,*,*」という部分を、下記と置き換えます。
「SYMBOL,1283,1283,17585,記号,一般,*,*,*,*,*」に置き換えて、保存します。
ファイルの保存ですが、そのまま保存できなかったので、一度、デスクトップに保存して、その保存したものを元のフォルダに移動させました。
辞書の再設定は、コマンドプロンプトでの操作もしてみましたが、最終的には、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行しました。
最初試していたコマンドプロンプトでの操作でも、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、コマンドプロンプトで「cd」で、「ipadic」フォルダにディレクトリを変更してから、「mecab-dict-index.exe」を実行していました。
この場合、オプション設定の仕方がよくわからないので、単に「mecab-dict-index.exe」を実行しただけです。
「bin」フォルダにディレクトリ変更して、「mecab-dict-index.exe」と「ipadic」フォルダへのパスを記して実行よりも手っ取り早いと思ったからです。
コマンドプロンプトで辞書の再設定をした段階で、MeCabでは、「！」「”」などの品詞が「記号」になりました。
しかし、「R Studio」のR MarkdownのRMeCabでは、「！」「”」の品詞は「名詞」のままです。何度繰り返しても、「すももも””！！」とか、解析対象テキストを変更してみても、パソコンを再起動しても、RMeCabでは「！」「”」などの品詞は「名詞」のままです。一方、MeCabのアプリでは、「！」「”」などの品詞は「記号」となっています。
？？？
RMeCabは、MeCabの解析結果をRで利用できるようにしているはずなので、MeCabの結果が RMeCabに反映されないというのは、とても不思議な現象でした。
結局、RMeCabでもうまくいくようになったのですが、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行した後でうまくいくようになったようなので、コマンドプロンプトからの辞書の再設定がうまくいっていなかったのかもしれません。
でも、その前の段階でもMeCabのアプリでは、「！」「”」などの品詞が「記号」となっていたので、RMeCabがMeCabの再設定前の辞書ファイルにアクセスしていた、ということなのではないかと考えます。
そもそも、「！」「”」などの品詞を「サ変接続の名詞」として設定しているMeCabの辞書のデフォルト設定に問題があるようですが、これはMeCabの作者からのメッセージであり、ユーザーに与えた課題でもあり、「それくらいは変更できるようになりなさい」ということなのだと思います。
確かに、この問題を解決するためにいろいろと調べたので、MeCabの辞書ファイルのあり方が何となくわかったような気がします。一瞬ですが、ユーザー辞書を追加してみよう、という気持ちになったりもしました。
なお、２台目のパソコン（Windows8.1)にも同様の設定をしましたが、コマンドプロンプトは全く使いませんでした。
「ipadic」フォルダの「unk.def」というファイルを修正してから、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行しました。その結果、すぐにRMeCabにも変更が反映されました。
１台目のパソコン（Windows10）では、手こずりましたが、２台目は非常にスムーズでした。パソコンの環境も何か影響していたのかもしれません。
▼ワードクラウドの作成
スクレイピングで得られるデータでは、「☆の数」は４か５しかないので、☆の数別のワードクラウドを作っても仕方がありません。
そこで、「購入した回数」の「はじめて」と「リピート」でワードクラウドを作成しようと思います。
MeCabの辞書の再設定で疲れ果てたので、一応、ワードクラウドができることを確認するまでにとどめます。
ワードクラウドのディテールの設定などは後日にしたいと思います。
先日、スクレイピングしたメンズ・ボトムスのレビューの本文中の「名詞」と「形容詞」を対象にワードクラウドを作成しました。
▼「購入した回数」別：「リピート」の人のレビュー本文のワードクラウド
▼「購入した回数」別：「はじめて」の人のレビュー本文のワードクラウド
☆関連記事
▼楽天市場ランキング上位のメンズ・ボトムスの商品レビューの分析をしました：「R言語」によるスクレイピング
▼楽天市場のランキング上位の「zootie：エアパンツ」の商品レビューをテキストマイニングしてみました：「ファッションジャンル商品対応版のRコード」でスクレイピング
▼【再改訂版コード】：「R言語」による楽天市場の商品レビューのスクレイピングコードの再改訂版：グラフ作成コードなどを追加：「素焼きアーモンド」の商品レビューのデータを取得：意外と多い「はじめて」の購入
▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました
▼楽天市場の 特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・
▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析
▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品
▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です
▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較
▼3000円クラスの高評価イヤホン「HA-FX3のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです
▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析
▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます
▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです：3000円クラスで、高評価のイヤホンです
一応、スクレイピングと簡単な棒グラフなどの「R」のコードは整備できてきました。
次に目指すのは、テキストマイニングの部分です。現在は、ユーザーローカルさんのテキストマイニングツールやKH Coder、Power BIを利用していますが、「R」のパッケージにもテキストマイニングツールがあるので、「R」だけでかなり多くの分析ができるのではないかと思います。
スクレイピングからテキストマイニングまで一気通貫にできれば、非常に楽ですし、コードが正確であるということが前提ですが、人手の作業によるミスを排除できるので、より正確な分析が可能になります。
▼ワードクラウドを作成できるようにするために、MeCabとRMeCabをインストール
まだ、テキストマイニング用のコードの整備を始めたばかりですが、早速、MeCabの辞書のコンパイルでつまづいてしまいました。
MeCabのデフォルトの辞書では、「！」「”」といった記号が「サ変接続の名詞」として登録されています。
「サ変接続の名詞」とは何でしょう。例えば「購入」のように、「した」とか「する」に接続するのが、「サ変接続の名詞」です。
「”」などの記号をRのコードで削除するという対処方法もありますが、処理の自動化とはかけ離れてしまいます。
根本的に対処するためには、辞書を修正する必要があります。
ネットで調べて、MeCabをインストールしたフォルダにある「unk.def」というファイルを修正して、上書きして、辞書を再設定すればいいことがわかりました。
「unk.def」をテキストエディターで開き、
「SYMBOL,1283,1283,17585,名詞,サ変接続,*,*,*,*,*」という部分を、下記と置き換えます。
「SYMBOL,1283,1283,17585,記号,一般,*,*,*,*,*」に置き換えて、保存します。
ファイルの保存ですが、そのまま保存できなかったので、一度、デスクトップに保存して、その保存したものを元のフォルダに移動させました。
辞書の再設定は、コマンドプロンプトでの操作もしてみましたが、最終的には、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行しました。
最初試していたコマンドプロンプトでの操作でも、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、コマンドプロンプトで「cd」で、「ipadic」フォルダにディレクトリを変更してから、「mecab-dict-index.exe」を実行していました。
この場合、オプション設定の仕方がよくわからないので、単に「mecab-dict-index.exe」を実行しただけです。
「bin」フォルダにディレクトリ変更して、「mecab-dict-index.exe」と「ipadic」フォルダへのパスを記して実行よりも手っ取り早いと思ったからです。
コマンドプロンプトで辞書の再設定をした段階で、MeCabでは、「！」「”」などの品詞が「記号」になりました。
しかし、「R Studio」のR MarkdownのRMeCabでは、「！」「”」の品詞は「名詞」のままです。何度繰り返しても、「すももも””！！」とか、解析対象テキストを変更してみても、パソコンを再起動しても、RMeCabでは「！」「”」などの品詞は「名詞」のままです。一方、MeCabのアプリでは、「！」「”」などの品詞は「記号」となっています。
？？？
RMeCabは、MeCabの解析結果をRで利用できるようにしているはずなので、MeCabの結果が RMeCabに反映されないというのは、とても不思議な現象でした。
結局、RMeCabでもうまくいくようになったのですが、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行した後でうまくいくようになったようなので、コマンドプロンプトからの辞書の再設定がうまくいっていなかったのかもしれません。
でも、その前の段階でもMeCabのアプリでは、「！」「”」などの品詞が「記号」となっていたので、RMeCabがMeCabの再設定前の辞書ファイルにアクセスしていた、ということなのではないかと考えます。
そもそも、「！」「”」などの品詞を「サ変接続の名詞」として設定しているMeCabの辞書のデフォルト設定に問題があるようですが、これはMeCabの作者からのメッセージであり、ユーザーに与えた課題でもあり、「それくらいは変更できるようになりなさい」ということなのだと思います。
確かに、この問題を解決するためにいろいろと調べたので、MeCabの辞書ファイルのあり方が何となくわかったような気がします。一瞬ですが、ユーザー辞書を追加してみよう、という気持ちになったりもしました。
なお、２台目のパソコン（Windows8.1)にも同様の設定をしましたが、コマンドプロンプトは全く使いませんでした。
「ipadic」フォルダの「unk.def」というファイルを修正してから、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行しました。その結果、すぐにRMeCabにも変更が反映されました。
１台目のパソコン（Windows10）では、手こずりましたが、２台目は非常にスムーズでした。パソコンの環境も何か影響していたのかもしれません。
▼ワードクラウドの作成
スクレイピングで得られるデータでは、「☆の数」は４か５しかないので、☆の数別のワードクラウドを作っても仕方がありません。
そこで、「購入した回数」の「はじめて」と「リピート」でワードクラウドを作成しようと思います。
MeCabの辞書の再設定で疲れ果てたので、一応、ワードクラウドができることを確認するまでにとどめます。
ワードクラウドのディテールの設定などは後日にしたいと思います。
先日、スクレイピングしたメンズ・ボトムスのレビューの本文中の「名詞」と「形容詞」を対象にワードクラウドを作成しました。
▼「購入した回数」別：「リピート」の人のレビュー本文のワードクラウド
▼「購入した回数」別：「はじめて」の人のレビュー本文のワードクラウド
☆関連記事
▼楽天市場ランキング上位のメンズ・ボトムスの商品レビューの分析をしました：「R言語」によるスクレイピング
▼楽天市場のランキング上位の「zootie：エアパンツ」の商品レビューをテキストマイニングしてみました：「ファッションジャンル商品対応版のRコード」でスクレイピング
▼【再改訂版コード】：「R言語」による楽天市場の商品レビューのスクレイピングコードの再改訂版：グラフ作成コードなどを追加：「素焼きアーモンド」の商品レビューのデータを取得：意外と多い「はじめて」の購入
▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました
▼楽天市場の 特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・
▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析
▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品
▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です
▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較
▼3000円クラスの高評価イヤホン「HA-FX3のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです
▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析
▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます
▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです：3000円クラスで、高評価のイヤホンです
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/18c0b2f0.c9791c8f.18c0b2f1.b0422fd2/?me_id=1213310&item_id=16734639&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F6532%2F9784873116532.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F6532%2F9784873116532.jpg%3F_ex%3D128x128&s=128x128&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
|
Rグラフィックスクックブック ggplot2によるグラフ作成のレシピ集 [ ウィンストン・チャン ]
|
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/18c0b2f0.c9791c8f.18c0b2f1.b0422fd2/?me_id=1213310&item_id=18827663&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F8147%2F9784873118147.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F8147%2F9784873118147.jpg%3F_ex%3D128x128&s=128x128&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
|
Rではじめるデータサイエンス [ Hadley Wickham ]
|
お気に入りの記事を「いいね！」で応援しよう
[データ分析] カテゴリの最新記事
-
CHATGPTって何しているの？ 2023.11.22
-
コスタリカの話題はあまり見られない：ツ… 2022.12.03
-
【新型コロナ】Qatarでは感染確認者数が減… 2022.11.29
【毎日開催】
15記事にいいね！で1ポイント
© Rakuten Group, Inc.
