基礎編：データマイニングの考え方

ここで扱うのは、競馬に限らずどんなデータでも同じように出てくる話です。 用語をひと通り押さえてから競馬編へ進むと、競馬でしか起きない論点（レースの中での相対比較、オッズ、控除率）が はっきり区別できるようになります。上から順に読む構成ですが、 気になる記事から読んでも構いません。

• データマイニングとは何か大量のデータから再現性のある規則性を取り出す営み。統計学・機械学習との関係と、分析が反復プロセスであること。
• 何ができるのか（タスクの種類）分類・回帰・ランキング・クラスタリング・異常検知。同じデータでも「問題の立て方」でやることが変わります。
• データの見方と前処理尺度水準、テーブルの粒度、欠損値と外れ値、スケーリングとエンコーディング。手間の大半はここにかかります。
• 特徴量エンジニアリングモデルに渡す「材料」の作り方。集約・比率・差分・時間窓という型と、次元の呪い、重要度の読み方。
• 代表的なアルゴリズム線形回帰・決定木・ランダムフォレスト・GBDT・k 近傍法・SVM・ニューラルネットを 1 つずつ。表形式データで GBDT が強い理由、アンサンブル、解釈性との兼ね合い。
• 学習と検証（過学習・交差検証）訓練・検証・テストの三分割、交差検証、過学習と未学習。そして「探すほどテストの数字が甘くなる」こと。
• 評価指標の読み方混同行列、適合率と再現率、ROC/AUC、RMSE。正解率が役に立たない場面と、指標が目的の代理でしかないこと。
• 一般的な落とし穴相関と因果、シンプソンのパラドックス、多重比較、生存バイアス、分布シフト。数字にだまされないための一覧。