Kazu Home Page

Python で　競馬予想　第1回（データ取得編　scraping スクレイピング）

2年前に機械学習を使ってAI​競馬予想を行っていました​が、ある時から私のLibreofficeからデータが取得できなくなり、頓挫してしまいました。純粋エクセルが欲しくなりましたが、何か良い方法を考えていました。私の行いたい手順としては下記の通りです。1.netkeibaからレース情報の取得（<-- ここが出来なくなった）2.自分で作った関数で重みづけ(<-- Libreoffice で可能）3.機械学習による競馬予想(<-- Anacondaで可能）という事で情報取得をPythonで動かしたいというのが今回の目的です。調べると、スクレイピングという言葉が出てきました。​このページ​がヤフーをスクレイピングしていたのでとっつきやすいと思い手を付けました。たった2行で取得できるのか？と思い早速入力してみました。​url = 'https://www.yahoo.co.jp/'res = requests.get(url)res.text[:500]​上記のようにさっそくエラーがでました。もう少し読むと、requestsを入れるにはインストールやインポートが必要になります。詳しい説明は、「図解！Beautiful SoupでWEBスクレイピング徹底解説！」を参照ください。と書いてあります。やり方は、自分はAnaconda3を使っているので、promptを選択してから。conda install requestsを入力するようです。良し出来たと思い、先ほどのコマンド実行前に下記のコマンドを入力して​#requests をインポートします。(Web scrapingには必須)import requests​再度実行すると。resまではゲットできたようですが、表示させようとしたresponseで再度エラー、躓きました。どうやら、responsesもインストールかと思いましたが、resにinputしたので、resを出力しないと行けなかったです。yahooは表示できましたが、netkeibaは文字化けしているようです。再度ぐぐっていると。encodeが出来るとのこと。下記コマンドを実行です。​res.encoding = res.apparent_encoding​そうすると、表示してくれました。HTMLがそのまま出ているようです。とりあえずスクレイピングは出来た模様です。次回はこれをテキストに出力、取り込みたいフォーマットに変換するところをまで行いたいです。今日のプログラムです。簡単に取得できるものですね。#requests をインポートします。(Web scrapingには必須)import requests#urlを取得 url = 'https://race.netkeiba.com/race/shutuba_past.html?race_id=202004020211&rf=shutuba_submenu'#resに内容を代入res = requests.get(url)#resをencodeして文字化け回避res.encoding = res.apparent_encoding#画面出力print(res.text)​文字化け対策には別のコマンドもあるようです。上記でダメな場合は使ってみても良いと思います。​#BeautifulSoup は文字化け対策from bs4 import BeautifulSoupres.encoding = 'shift_jis'soup =BeautifulSoup(res.text , 'html.parser')​