9月7日 SES2015で
「ビッグデータとマーケティング」
を聞いてきたので、その内容をメモメモ
・自己紹介
ビッグデータ
・生データ:いろんなところからいろんな形でものすごい
→自由に取れる?
公開しているもの:楽天総合研究所など
企業の中→手に入らない
・2020年に40ZB→44ZB
人間活動、経済活動
→非構造化データ、センシングデータ
経済活動に関係ない、タグ付かないものも多いだろうが
経済活動に関係、タグ付けされたものも多くなるだろう
・データ
センシングデータ
ライブログデータ
→重なる部分もある
社会、企業、個人さまざまな段階でデータ活用
・企業活動諸相の関連
取引先:発注管理、受注管理
製造:製造効率、品質管理
社内管理:人事評価、業務効率
サプライチェーン:生産管理、在庫調整
市場競争:競争優位、差別化、チャネル
顧客との関係:需要、顧客ニーズ、与信
・ビジネス(特にマーケティング)へのデータ活用」の歴史
マーケットリサーチ(市場調査→市場の見える化)
マーケティング・リサーチ(市場化すること→どう意思決定する)
ビジネスインテリジェンス
ビジネスアナリティクス
・データ
マーケットリサーチ
政府、業界団体の統計情報
マーケティング・リサーチ
アンケートなどの調査データ
一次データの収集
ビジネスインテリジェンス
社内外データ
(二次データ、大量データへの萌芽)
ビジネスアナリティクス
ビッグデータの活用
(企業と直接関係ないデータも活用)
→以前のデータも使う
・マーケティング分野でのビッグデータ(BIからBA)
AIDMA(あいどま)消費者の意思決定プロセス:ローランド・ホール
知名集合
想起集合
考慮集合
選好の評価
選択
AISAS(あいさす):電通
シェア→情報の共有
・東芝:れぐざ ビデオリサーチ→独自に収集:18万人!新たな使い方
分析
データ
データはある。けどIDは別々
評価と意思決定
評価と行動が同時に行われる→運営側がアクション
情報の非対称性
かなりなくなっている(価格.com)
活用トレンド
データの大規模化
リアルタイム処理
刻一刻と変化→適切なアプローチ
複雑な関係の記述
さまざまな要素、非線形関係
データ分析
統計
データマイニング・テキストマイニング:バッチ
並列処理
人工知能
分析サーバー
リアルタイム+ソルバー
コプロセッサ:GPU
・横浜市のコールトリアージ支援システム
119番→重症度:予測モデル
はじめ:ロジスティック回帰 30%
ベイジアンネットワーク 50%
SVM 70%
ランダムフォレスト 80%以上
→自動的に学習
・Hadoop
市民権を得てきて、枯れてきた。SQLでは結果帰ってこない
→負荷軽くしないと
・CEP
リアルタイム
・複雑な関係の記述→ディープラーニング
・spotifyにおけるレコメンデーション
→キュレーション:勝手にお勧め、勝手に流す→ディープラーニング
リズム、声の高さ、調、ジャンル
→数値化できないものが分析できる
。問題点:ディープラーニングはリアルタイムまだ無理
・新たな潮流
コモディティ化
ECの台頭→購買プロセスデータ
合理的な消費者
複数の情報源
・売り場の可視化
可視化:ダッシュボード機能→細かいこと
バスケット分析→ネットワーク:ころ合いをどう持ってくるか
意思決定のサポート
・今後
オープンデータ化進んでいる(法改正→世の中)
データインフォミディアリ→共通ポイント:Tポイント、ぽんた→一元
楽天はECまで進めている
個人をどうみていくか
事例
かごおち率
今買わない、かごに入れたけどやめた
旅行、施設予約のキャンセル
→キャンセルされやすい予測
データ:会員データ、予約データ、ゴルフ場データ
潜在クラス・ロジットモデル
音楽の好みの教師データは?
レコメンデーション
(評価投稿サイトの)評価値
こまったときはランダムフォレスト
ディープラーニングは過学習しがち
NRIのデータ:学術向けに公開
カラム数:1万カラム→スパース、3000人くらい
→べたに相関から
→一点突破
→全部やると、おかしくなる
データ解析コンペディション
なるべく広く
今年のテーマ:板橋区役所
アイディーズ ID-POSデータ(約300億件の購買データ)
「ビッグデータとマーケティング」
を聞いてきたので、その内容をメモメモ
・自己紹介
ビッグデータ
・生データ:いろんなところからいろんな形でものすごい
→自由に取れる?
公開しているもの:楽天総合研究所など
企業の中→手に入らない
・2020年に40ZB→44ZB
人間活動、経済活動
→非構造化データ、センシングデータ
経済活動に関係ない、タグ付かないものも多いだろうが
経済活動に関係、タグ付けされたものも多くなるだろう
・データ
センシングデータ
ライブログデータ
→重なる部分もある
社会、企業、個人さまざまな段階でデータ活用
・企業活動諸相の関連
取引先:発注管理、受注管理
製造:製造効率、品質管理
社内管理:人事評価、業務効率
サプライチェーン:生産管理、在庫調整
市場競争:競争優位、差別化、チャネル
顧客との関係:需要、顧客ニーズ、与信
・ビジネス(特にマーケティング)へのデータ活用」の歴史
マーケットリサーチ(市場調査→市場の見える化)
マーケティング・リサーチ(市場化すること→どう意思決定する)
ビジネスインテリジェンス
ビジネスアナリティクス
・データ
マーケットリサーチ
政府、業界団体の統計情報
マーケティング・リサーチ
アンケートなどの調査データ
一次データの収集
ビジネスインテリジェンス
社内外データ
(二次データ、大量データへの萌芽)
ビジネスアナリティクス
ビッグデータの活用
(企業と直接関係ないデータも活用)
→以前のデータも使う
・マーケティング分野でのビッグデータ(BIからBA)
AIDMA(あいどま)消費者の意思決定プロセス:ローランド・ホール
知名集合
想起集合
考慮集合
選好の評価
選択
AISAS(あいさす):電通
シェア→情報の共有
・東芝:れぐざ ビデオリサーチ→独自に収集:18万人!新たな使い方
分析
データ
データはある。けどIDは別々
評価と意思決定
評価と行動が同時に行われる→運営側がアクション
情報の非対称性
かなりなくなっている(価格.com)
活用トレンド
データの大規模化
リアルタイム処理
刻一刻と変化→適切なアプローチ
複雑な関係の記述
さまざまな要素、非線形関係
データ分析
統計
データマイニング・テキストマイニング:バッチ
並列処理
人工知能
分析サーバー
リアルタイム+ソルバー
コプロセッサ:GPU
・横浜市のコールトリアージ支援システム
119番→重症度:予測モデル
はじめ:ロジスティック回帰 30%
ベイジアンネットワーク 50%
SVM 70%
ランダムフォレスト 80%以上
→自動的に学習
・Hadoop
市民権を得てきて、枯れてきた。SQLでは結果帰ってこない
→負荷軽くしないと
・CEP
リアルタイム
・複雑な関係の記述→ディープラーニング
・spotifyにおけるレコメンデーション
→キュレーション:勝手にお勧め、勝手に流す→ディープラーニング
リズム、声の高さ、調、ジャンル
→数値化できないものが分析できる
。問題点:ディープラーニングはリアルタイムまだ無理
・新たな潮流
コモディティ化
ECの台頭→購買プロセスデータ
合理的な消費者
複数の情報源
・売り場の可視化
可視化:ダッシュボード機能→細かいこと
バスケット分析→ネットワーク:ころ合いをどう持ってくるか
意思決定のサポート
・今後
オープンデータ化進んでいる(法改正→世の中)
データインフォミディアリ→共通ポイント:Tポイント、ぽんた→一元
楽天はECまで進めている
個人をどうみていくか
事例
かごおち率
今買わない、かごに入れたけどやめた
旅行、施設予約のキャンセル
→キャンセルされやすい予測
データ:会員データ、予約データ、ゴルフ場データ
潜在クラス・ロジットモデル
音楽の好みの教師データは?
レコメンデーション
(評価投稿サイトの)評価値
こまったときはランダムフォレスト
ディープラーニングは過学習しがち
NRIのデータ:学術向けに公開
カラム数:1万カラム→スパース、3000人くらい
→べたに相関から
→一点突破
→全部やると、おかしくなる
データ解析コンペディション
なるべく広く
今年のテーマ:板橋区役所
アイディーズ ID-POSデータ(約300億件の購買データ)