Kazu Home Page

< 新しい記事

新着記事一覧(全1415件)

過去の記事 >

Aug 9, 2020

Python で　競馬予想　第3回（Pyhton上でのデータ加工）

(2)

カテゴリ：競馬

これまでの2回でスクレイピングし、HTMLを解析までして、ファイルに出力しようと思いましたが、データが全て1行に書き込まれており頓挫してしまいました。今回はもう少しpython上で所望のデータに変換をしたいと思いトライしています。これまでのバッグナンバーは下記

Python で　競馬予想　第1回（データ取得編　scraping スクレイピング）
Python で　競馬予想　第2回（HTML解析編）
Python で　競馬予想　第3回（Python上でのデータ加工） --- 　今回はここ。

今回はテキストにしたところから、余計なscriptを省くところからスタートします。参考にしたURLはこちらになります。

for script in soup(["script", "style"]):
script.decompose()
#print(soup)

.decompose()は、削除のメソッドだそうです。次に前回も行いましたが、テキストを取得します。

text=soup.get_text()
#print(text)

前回と同じように改行がいっぱいできてしまいます。今回違うのはこれからです。テキストを改行ごとにリストに入れて、リスト内の要素前後の空白を除去します。

lines= [line.strip() for line in text.splitlines()]
# textを改行ごとにリストに入れて、リスト内の要素の前後の空白を削除

これを行うことで1次配列の中にすべて入って作業がやりやすくなりました。次に余計な空白行の除去に取り組みます。関数を使うのはお手の物なので、行が何も入っていなかったら削除して、関数を詰めます。

i = 0
for line in lines:
if lines[i]=="" :
        del lines[i]
        # print (i)
else:
     print(lines[i])
     i += 1

そうすると、何も書いていない行が省かれます。

次にリストをコピーしてデータを眺めるとレース名は"11R"が2回出てきたところにあるので、そこまではデータを削除します。

lines_s0 = lines

i = 0
j = 0
for line in lines_s0:
if lines_s0[i] != "11R" :     # a != b           # a が b と異なる
    del lines_s0[i]
else:
    j += 1
    i += 1
    if j == 2:           # 2回目の11Rで抜ける 2回目の11Rの次がレース名
        print("11R 2times out loop")
        break
    else :
            print(lines_s0[i],j)

lines_s0[2] # レース名が表示されればOK

見事レース名が表示されました。次に馬柱の前には必ず。

i = 0
for line in lines_s1:
if lines_s1[i] != "--◎◯▲△☆✓消" :     # a != b           # a が b と異なる
    del lines_s1[i]
else:
    break

lines_s1 #以降が馬の情報

見事、馬柱から必要なデータを確保できそうです。次に馬ごとに分けなければなりませんが、疲れたので今日はこの辺りで。

今日の一覧

for script in soup(["script", "style"]):
    script.decompose()
#print(soup)

text=soup.get_text()
#print(text)

lines= [line.strip() for line in text.splitlines()]
# textを改行ごとにリストに入れて、リスト内の要素の前後の空白を削除

i = 0
for line in lines:
if lines[i]=="" :
        del lines[i]
        # print (i)
else:
     print(lines[i])
     i += 1

i = 0
j = 0
for line in lines_s0:
if lines_s0[i] != "11R" :     # a != b           # a が b と異なる
    del lines_s0[i]
else:
    j += 1
    i += 1
    if j == 2:           # 2回目の11Rで抜ける 2回目の11Rの次がレース名
        print("11R 2times out loop")
        break
    else :
            print(lines_s0[i],j)

i = 0
for line in lines_s1:
if lines_s1[i] != "--◎◯▲△☆✓消" :     # a != b           # a が b と異なる
    del lines_s1[i]
else:
    break