🚧 本アプリは現在開発中です。公開・リリース時期は決まり次第お知らせします。
目次(データマイニング入門

基礎編

何ができるのか(タスクの種類)

分類・回帰・ランキング・クラスタリング・異常検知。同じデータでも「問題の立て方」でやることが変わります。

この記事の要点

  • 答え(正解ラベル)があるかどうかで、教師あり学習と教師なし学習に分かれます。
  • 同じデータでも、分類・回帰・ランキングのどれとして解くかで、作るものも評価の仕方も変わります。
  • 最初に決めるべきは「どのタスクとして解くか」で、アルゴリズム選びはその後です。

まず「答えがあるか」で分かれる

データマイニングの手法は、過去のデータに「答え」が付いているかどうかで大きく 2 つに分かれます。

  • 教師あり学習… 過去のデータに答えが付いている場合。「この条件のとき、結果はこうだった」を 大量に見せて、条件から結果を当てる仕組みを作ります。
  • 教師なし学習… 答えが無い場合。似たもの同士をまとめる、いつもと違うものを見つける、 といった「構造を探す」使い方をします。

需要予測や解約予測のように、時間が経てば答えが確定するデータは、 教師あり学習の題材として恵まれています。 放っておいても正解が付き、しかも量が積み上がっていくからです。

教師ありの 3 つの型

タスク予測するもの
分類いくつかの区分のどれか(多くは確率つき)メールが迷惑メールか / 解約するかしないか
回帰連続した数値明日の売上 / 中古車の価格
ランキンググループ内での並び順検索結果の並び / 同じレースの出走馬の優劣

ランキングは少し特殊で、 「1 件ずつの正しさ」ではなく「グループの中で正しい順番になっているか」を評価します。検索エンジンが典型で、1 位に出すべきページが 1 位に来ているかが問題であり、 個々のページのスコアが何点かは重要ではありません。

教師なしの代表例

  • クラスタリング… 似たもの同士をグループに分けます。顧客を購買傾向で分ける、など。 「正解」が無いので、分かれ方が使い物になるかは人が判断します。
  • 次元削減… 列(項目)が多すぎるとき、情報をなるべく保ったまま少ない軸にまとめます。 可視化の下ごしらえにも使います。
  • 相関ルール(バスケット分析)… 「A を買った人は B も買う」のような同時に起きやすい組み合わせを探します。
  • 異常検知… いつものパターンから外れたものを見つけます。不正利用の検知や設備の故障予兆など。

同じデータでも、問題の立て方で別物になる

ここがいちばん大事なところです。手元にあるデータが同じでも、何を予測対象に選ぶかで作業の中身は変わります。

たとえばお店の購買履歴があるとして、 「来月このお客さんが来るか」を当てれば分類、 「来月いくら使うか」を当てれば回帰、 「どの商品をおすすめ順に並べるか」を決めればランキング、 「似たお客さんをまとめて施策を分けたい」ならクラスタリングです。 必要なデータの形も、良し悪しの測り方も、それぞれ違います。

先にタスクを決めてからデータを整えるのが順序です。 逆にすると、集めたデータが目的に合わず作り直しになります。