基礎編
何ができるのか(タスクの種類)
分類・回帰・ランキング・クラスタリング・異常検知。同じデータでも「問題の立て方」でやることが変わります。
この記事の要点
- 答え(正解ラベル)があるかどうかで、教師あり学習と教師なし学習に分かれます。
- 同じデータでも、分類・回帰・ランキングのどれとして解くかで、作るものも評価の仕方も変わります。
- 最初に決めるべきは「どのタスクとして解くか」で、アルゴリズム選びはその後です。
まず「答えがあるか」で分かれる
データマイニングの手法は、過去のデータに「答え」が付いているかどうかで大きく 2 つに分かれます。
- 教師あり学習… 過去のデータに答えが付いている場合。「この条件のとき、結果はこうだった」を 大量に見せて、条件から結果を当てる仕組みを作ります。
- 教師なし学習… 答えが無い場合。似たもの同士をまとめる、いつもと違うものを見つける、 といった「構造を探す」使い方をします。
需要予測や解約予測のように、時間が経てば答えが確定するデータは、 教師あり学習の題材として恵まれています。 放っておいても正解が付き、しかも量が積み上がっていくからです。
教師ありの 3 つの型
| タスク | 予測するもの | 例 |
|---|---|---|
| 分類 | いくつかの区分のどれか(多くは確率つき) | メールが迷惑メールか / 解約するかしないか |
| 回帰 | 連続した数値 | 明日の売上 / 中古車の価格 |
| ランキング | グループ内での並び順 | 検索結果の並び / 同じレースの出走馬の優劣 |
ランキングは少し特殊で、 「1 件ずつの正しさ」ではなく「グループの中で正しい順番になっているか」を評価します。検索エンジンが典型で、1 位に出すべきページが 1 位に来ているかが問題であり、 個々のページのスコアが何点かは重要ではありません。
教師なしの代表例
- クラスタリング… 似たもの同士をグループに分けます。顧客を購買傾向で分ける、など。 「正解」が無いので、分かれ方が使い物になるかは人が判断します。
- 次元削減… 列(項目)が多すぎるとき、情報をなるべく保ったまま少ない軸にまとめます。 可視化の下ごしらえにも使います。
- 相関ルール(バスケット分析)… 「A を買った人は B も買う」のような同時に起きやすい組み合わせを探します。
- 異常検知… いつものパターンから外れたものを見つけます。不正利用の検知や設備の故障予兆など。
同じデータでも、問題の立て方で別物になる
ここがいちばん大事なところです。手元にあるデータが同じでも、何を予測対象に選ぶかで作業の中身は変わります。
たとえばお店の購買履歴があるとして、 「来月このお客さんが来るか」を当てれば分類、 「来月いくら使うか」を当てれば回帰、 「どの商品をおすすめ順に並べるか」を決めればランキング、 「似たお客さんをまとめて施策を分けたい」ならクラスタリングです。 必要なデータの形も、良し悪しの測り方も、それぞれ違います。
先にタスクを決めてからデータを整えるのが順序です。 逆にすると、集めたデータが目的に合わず作り直しになります。