基礎編

一般的な落とし穴

相関と因果、シンプソンのパラドックス、多重比較、生存バイアス、分布シフト。数字にだまされないための一覧。

この記事の要点

2 つの値が一緒に動いていても、片方がもう片方の原因とは限りません。よくあるのは、両方に影響する第 3 の要因（交絡因子(こうらくいんし)）がある場合です。アイスの売上と水難事故は一緒に増えますが、原因はどちらでもなく気温です。

予測が目的なら、相関しているだけの特徴量も役に立ちます。しかし「これを変えれば結果が変わる」と言いたいときは、相関だけでは足りません。予測の話と対策の話を混ぜないことが大事です。

グループごとに見ると A が優勢なのに、全部まとめると B が優勢になる ── という逆転が実際に起こります。グループごとの件数が偏っているときに起きやすい現象です。

対策は集計の単位を変えて何度も見ることです。全体で見て終わりにせず、条件別に割って確かめます。

20 通りの条件を試せば、まったく効果がなくてもそのうち 1 つくらいは「偶然きれいな数字」が出ます。この状態で最良の 1 つだけを報告すると、偶然を実力として発表することになります。

対策はシンプルです。

条件を細かく絞るほど、対象の件数は減ります。件数が減れば、成績のばらつきは大きくなります。3 件中 3 件的中（100%）は、実力を示しているというより、まだ何も分かっていない状態です。

数字を見るときは、必ず母数（何件中か）をセットで確認してください。絞り込みを重ねた条件ほど、この確認が要ります。

生存バイアス… 今も残っているものだけを見て結論を出すと、消えていったものを見落とします。「続けている人は成功している」は、失敗して辞めた人が数に入っていないだけかもしれません。
後知恵… 結果を知ってから条件を決めると、当然その結果に合った条件が選べます。その時点で知り得た情報だけで決められるかを自問します。

モデルが得意なのは、学習したデータと似た状況だけです。経験の外側（極端な値、見たことのない組み合わせ）については、もっともらしい答えを返しますが、根拠はありません。

また、時間が経つとデータの性質そのものが変わっていきます（分布シフト）。ルールや環境が変われば、過去のパターンは通用しなくなります。作ったモデルは劣化するものと考え、定期的に作り直す前提で運用します。