Kazu Home Page

< 新しい記事

新着記事一覧(全1415件)

過去の記事 >

Jul 22, 2020

Python で　競馬予想　第1回（データ取得編　scraping スクレイピング）

(2)

テーマ：競馬予想(65617)

カテゴリ： IT関連情報

2年前に機械学習を使ってAI 競馬予想を行っていましたが、ある時から私の純粋エクセルが欲しくなりましたが、何か良い方法を考えていました。

私の行いたい手順としては下記の通りです。
1.netkeibaからレース情報の取得（<-- ここが出来なくなった）
2.自分で作った関数で重みづけ(<-- Libreoffice で可能）
3.機械学習による競馬予想(<-- Anacondaで可能）

という事で情報取得をPythonで動かしたいというのが今回の目的です。

調べると、スクレイピングという言葉が出てきました。このページ

たった2行で取得できるのか？と思い早速入力してみました。

url = 'https://www.yahoo.co.jp/'
res = requests.get(url)
res.text[:500]

上記のようにさっそくエラーがでました。もう少し読むと、requestsを入れるにはインストールやインポートが必要になります。詳しい説明は、「図解！Beautiful SoupでWEBスクレイピング徹底解説！」を参照ください。と書いてあります。やり方は、自分はAnaconda3を使っているので、promptを選択してから。

conda install requestsを入力するようです。

良し出来たと思い、先ほどのコマンド実行前に下記のコマンドを入力して

#requests をインポートします。(Web scrapingには必須)
import requests

再度実行すると。resまではゲットできたようですが、表示させようとしたresponseで再度エラー、躓きました。

どうやら、responsesもインストールかと思いましたが、resにinputしたので、resを出力しないと行けなかったです。

再度ぐぐっていると。encodeが出来るとのこと。下記コマンドを実行です。

res.encoding = res.apparent_encoding

そうすると、表示してくれました。HTMLがそのまま出ているようです。とりあえずスクレイピングは出来た模様です。

次回はこれをテキストに出力、取り込みたいフォーマットに変換するところをまで行いたいです。

#requests をインポートします。(Web scrapingには必須)
import requests
#urlを取得
url = 'https://race.netkeiba.com/race/shutuba_past.html?race_id=202004020211&rf=shutuba_submenu'
#resに内容を代入
res = requests.get(url)
#resをencodeして文字化け回避
res.encoding = res.apparent_encoding
#画面出力
print(res.text)