ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

ビッグデータ解析を継続的に行う必要性

2012-06-05 11:38:56 | Weblog
ビッグデータを解析して、ある情報が得られたとする。
たとえば、ある商品を購買するかどうかの判別分析を、SVMを使って、できたとする。

そうすると、購買するかどうかの予測システムが作れる。つくったっとする。
そうしたら、そのシステムは、ずっと使えるかどうか・・・というのが、今日の御題。

機械学習させれば、使えそうに思えるかもしれない。

しかし、学習させたら、必ずしもよくなる・・・とは限らない。

世の中の社会構造が変わり、今まで取得していたデータでは、いい情報が得られなくなるかもしれない
(たとえば、固定電話の利用料金なんて、30年前と今では、意味が違う)

また、購入層と、そうでない層が、従来は明確に分かれていたが、最近は似通ってきてしまうということも、あるかもしれない
(たとえば、Mac製品を買う層などは、最近は20年前より、一般化している)

前者は、構造が変化するので、取得情報を変えないといけないし、後者は構造は変化しないが、平均値、分散が変化するから、精度の確認をしないといけない。
つまり、一回システムを作ったらいいというわけではなく、社会は変化するので、ビッグデータを用いて作ったシステムは、妥当性を継続的に調査しないといけなくなる。

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする