【競馬AI開発#12】競馬予想AIには何年間のデータを学習させるべきか？

population = create_population.create(from_="2018-01-01", to_="2023-12-31")

population = create_population.create(from_="2023-01-01", to_="2023-12-31")

.
├── requirements.txt                ・・・必要なライブラリを記載
├── README.md                       ・・・ディレクトリ構成を記載
├── common
│   ├── data
│   │   ├── html
│   │   │   ├── race
│   │   │   │   └── {race_id}.bin   ・・・スクレイピングしたraceページのhtml
│   │   │   └── horse
│   │   │       └── {horse_id}.bin  ・・・スクレイピングしたhorseページのhtml
│   │   ├── rawdf
│   │   │   ├── results.csv
│   │   │   ├── horse_results.csv
│   │   │   ├── horse_results_prediction.csv
│   │   │   ├── return_tables.csv
│   │   │   └── race_info.csv
│   │   ├── mapping                 ・・・カテゴリ変数から整数へのマッピング
│   │   └── prediction_population   ・・・予測母集団
│   └── src
│       ├── create_rawdf.py         ・・・htmlをDataFrameに変換する関数を定義
│       ├── main.ipynb              ・・・コードを実行するnotebook
│       ├── dev.ipynb               ・・・開発用notebook
│       └── scraping.py             ・・・スクレイピングする関数を定義
├── v3_0_0
├── v3_exp1
└── v3_0_1
    ├── data
    │   ├── 00_population       ・・・学習母集団を保存するディレクトリ
    │   │   └── population.csv
    │   ├── 01_preprocessed     ・・・前処理済みのデータを保存するディレクトリ
    │   │   ├── horse_results.csv
    │   │   ├── horse_results_prediction.csv
    │   │   ├── return_tables.pickle
    │   │   ├── results.csv
    │   │   └── race_info.csv
    │   ├── 02_features         ・・・全てのテーブルを集計・結合した特徴量を保存するディレクトリ
    │   │   └── features.csv
    │   ├── 03_train            ・・・学習結果を保存するディレクトリ
    │   │   ├── model.pkl           ・・・学習済みモデル
    │   │   ├── evaluation.csv      ・・・検証データに対する予測結果
    │   │   └── importance.png      ・・・特徴量重要度
    │   └── 04_evaluation       ・・・検証データに対する精度評価結果を保存するディレクトリ
    └── src
        ├── dev.ipynb               ・・・開発用notebook
        ├── main.ipynb              ・・・コードを実行するnotebook
        ├── create_population.py    ・・・学習母集団を作成する関数を定義
        ├── preprocessing.py        ・・・/common/rawdf/のデータを前処理する関数を定義
        ├── feature_engineering.py  ・・・機械学習モデルにインプットする特徴量を作成するクラスを定義
        ├── train.py                ・・・学習処理を行うクラスを定義
        ├── evaluation.py           ・・・モデルの精度評価を行うクラスを定義
        └── prediction.py           ・・・予測処理を行う関数を定義

import pandas as pd

import scraping
import create_rawdf
import create_prediction_population
%load_ext autoreload

↓↓↓以下のコードまで、セルを順に実行↓↓↓

# 馬の過去成績テーブルの作成
horse_results = create_rawdf.create_horse_results(html_paths_horse)

import pandas as pd

import scraping
import create_rawdf
import create_prediction_population
%load_ext autoreload

kaisai_date_list = scraping.scrape_kaisai_date(from_="2022-01", to_="2022-01")

# 一時保存ディレクトリ
TMP_DIR = scraping.DATA_DIR / "tmp"
race_id_list = scraping.scrape_race_id_list(kaisai_date_list, save_dir=TMP_DIR)

html_paths_race = scraping.scrape_html_race(
    race_id_list=race_id_list[:5], skip=False
)

results = create_rawdf.create_results(
    html_path_list=html_paths_race, save_filename="results_new.csv"
)

horse_id_list = results["horse_id"].unique()
html_paths_horse = scraping.scrape_html_horse(
    horse_id_list=horse_id_list, skip=False
)

def create_results(
    html_path_list: list[Path],
    save_dir: Path = RAWDF_DIR,
    save_filename: str = "results.csv",
) -> pd.DataFrame:
    """
    raceページのhtmlを読み込んで、レース結果テーブルに加工する関数。
    """
    dfs = {}
    for html_path in tqdm(html_path_list):
        # 省略
    concat_df = pd.concat(dfs.values())  # 新たに作成したrawデータ
    update_rawdf(concat_df, key="race_id", save_filename=save_filename)
    return concat_df


def create_horse_results(
    html_path_list: list[Path],
    save_dir: Path = RAWDF_DIR,
    save_filename: str = "horse_results.csv",
) -> pd.DataFrame:
    """
    horseページのhtmlを読み込んで、馬の過去成績テーブルに加工する関数。
    """
    dfs = {}
    for html_path in tqdm(html_path_list):
        # 省略
    concat_df = pd.concat(dfs.values())  # 新たに作成したrawデータ
    update_rawdf(concat_df, key="horse_id", save_filename=save_filename)
    return concat_df


def update_rawdf(
    new_df: pd.DataFrame,
    key: str,
    save_filename: str,
    save_dir: Path = RAWDF_DIR,
):
    """
    既存のrawdfに新しいデータを追加して保存する関数。
    """
    if (save_dir / save_filename).exists():
        old_df = pd.read_csv(save_dir / save_filename, sep="\t", dtype={f"{key}": str})
        # 念の為、key列をstr型に変換
        new_df[key] = new_df[key].astype(str)
        df = pd.concat([old_df[~old_df[key].isin(new_df[key])], new_df])
        df.to_csv(save_dir / save_filename, sep="\t", index=False)
    else:
        new_df.to_csv(save_dir / save_filename, sep="\t", index=False)

# create_rawdfモジュールの更新を反映
%autoreload
# レース結果テーブルを更新
results = create_rawdf.create_results(html_path_list=html_paths_race)
# レース情報テーブルを更新
race_info = create_rawdf.create_race_info(html_paths_race)
# 馬の過去成績テーブルを更新
horse_results = create_rawdf.create_horse_results(html_paths_horse)