さっきデータサイエンティストサミット2014に行って来た!
その内容をメモメモ
まずは、基調講演から
第二回データサイエンティストサミット
基調講演(キーノート)
NRI 鈴木良介氏
この4年間のビッグデータ
2010年 アメリカで使われるようになった
2011年 今年こそはビッグデータ元年
前半 IT業界の用語→Hadoopご存知
秋口 これからの商売→日経あおった→
2012年 ビッグデータって、何なんでしょう?
→小松の話
2013年 普通の会社でもビッグデータ
→うちの会社にもデータ:中期経営計画
2014年 具体的に決まってないよね・・・
→いつまでに、なんぼ回収するつもりなのか?
今日の登壇者:ネット系→先行(成功、課題)
キュービタル:草野さん
ブレインパッド+YAHOO Japanの合弁
・ブレインパッド
10年間データ分析
分析にはいくつかの要素がかみ合う
データの収集&蓄積
ビジネスに関係性のある
豊富で質の高いデータ
データ加工分析
適切な文是機を実施するために
大量なデータを必要十分な
スピードで処理する環境
時にリアルタイム性も
適切な分析とビジネス活用
ビジネス課題の分析と落とし込み
適切な分析の実施
分析結果のビジネスへの適応
さまざまなアドバイスはできても、本質的な解決にはいたらなかった
データの収集&蓄積
そんなに優秀な分析官がいても、どんなに高度な分析環境があっても、
質の悪いでーたでは。。。
YAHOO Japan
真の課題解決エンジンにむけて
広告販売だけでは、これからのマーケティングの
ソリューションとしては不十分
広告→データ
ミッション
YAHOOのマルチビッグデータ
お客様のデータWebログ、CRMデータ
YAHOO! DMP
DMPはマーケティングの中心的な存在
広告、CRM,LPO、商品開発
YAHOO DMP
ベロシティー 0.2秒(人間の最短反応時間)
ボリューム 1ヶ月約560億PV
バラエティー YAHOOサーボス
オムニチャネル
YAHOO!タグマネージャーPlus
カバレッジ
PCレベルで8割
企業の中でたまっているデータ
優良顧客
リピート顧客
新規顧客
見込み顧客 →YAHOOのデータとぶつけられる
潜在顧客 →YAHOOのデータとぶつけられる
接触あるお客様は分析できる
接触ないお客様を分析
最先端の分析環境
Hadoop+α MAPR、SKYTREE(機械学習)
データウェアハウス Greenplum
ビジネスインテリジェンス tableau
トータルで支援
クックパッド 中村さん
日本最大のレシピサイトを支える食の検索
クックパッドの紹介
のべ4400万人、スマートフォンからが伸びている
→スマートフォンと相性がいい
チラシ・お店情報「特売情報」
・例:バターチキン
使われている材料が特売していたら出す
クックパッドに集まるデータ
日本で一番利用されている料理サイト
→日本で一番食卓情報が集まっているサイト
検索ワード
食べるものをイメージ→ニーズの塊
検索データ:シェア前提でない→本音が見やすい
たべみる
2014年おうちごはん番付
塩レモン:2014年3月から急上昇
スタートは2013年5月から?
検索データの活用
・人気のキーワードランキング
・クックパッドニュース
・トップページレシピの選択
→特売情報と連携:反映
アボカドを7月に売りたい
7月にピークがくるのはどんぶり
→アボカド丼 前週比170%、併売品売り上げ急増
アボカドカッター2年分を3日で
まとめ
毎日の料理を楽しみにできるような、データ活用方法を
リクルートテクノロジー 西郷さん
リクルートのビジネスを支える分析・活用手法
1.はじめに リクルートの紹介
何屋→情報サービス
「まだ、ここにない、出会い」
ライフイベントとライフスタイル両方の領域
紙、ネット、モバイル、スマートデバイス
スマホアプリのほうが、数が多い?
ネットインフラやデータ分析基盤がKey
リクルートテクノロジーズ
外販してない会社
2.基盤について
Hadoop
データウェアハウスPureData
BI
・Hadoop
パブリッククラウドとの連携
3.活用事例
200件のデータ利活用推進
可視化分析
CameranXSNS解析事例
アプリダウンロード数とSNSの盛り上がり
パーソナライズ・レコメンド
リクナビNext
成功事例を横展開
GeoIPアドレスデータ:売ってる
協調フィルタリングとグラフ理論
パーソナライズすると→テールが上がる
5.データサイエンティスト
分析
テクノロジー
ビジネススキル・マーケティング・管理能力
Hadoopカンファレンス 2014eventbrite
OKWave 羽野さん
OKWaveのデータ分析ビジネス
Q&AサイトOKWave
累積回答3000万
QAパートナー
・教えてGoo
・MSN相談箱
:
Q&Aデータベース
ビジネスに活用
2013年5月「OKWave総合研究所」
VOC分析レポート
これまでに十数件
Q&A分析
質問→回答→お礼
ユーザー登録情報の分析
住まい:社会人30、40台
収入とローン借り入れ金額の傾向
ダイエットをする10代女性 VS 30代男性
質問内容の可視化→本音を発掘
回答データを活用した評判分析
引越しの例
→自社/競合の製品サービス
お礼データを活用した分析
「無理なんですね」
→解決されない悩みから新商品開発のヒント
2つのポイント
1.分析に集中できる環境を作ってもらう
2.分析テクニックよりも考察→アクションプランまで落とし込む
ドワンゴ ニコニコ事業部 細川さん
にこにこ
登録アカウント数:4000万
投稿された動画:2400万
生放送番組:1億8千万
ライフスタイルの移り変わりが分かる→大量のログ
・プレミアム会員が大きな比率
UGC(UserGenerated contents)
・文化、生態系
A/Bテスト事例
A,B→挙動変化(CTR/CVRを主な指標として判断)
消費税の税込み表示 有意差ない
詳細分析事例
HHI:月間コメント数でのユーザー散布図
分析関連開発
hadoop,fluentD,mahout,H・BASE
より良い相互作用を提供する場へ
データサイエンティストのかかわりから
ディレクター
KPI
ABテスト
キャンペーン
アナリスト
広域分析
掘り下げ
数学的手法
エンジニア
開発基盤
だめな例
ディレクタ・アナリスト/ エンジニア
シームレスなスキルを持ったチームへ
オークファン 植山さん
目の研究 1000件
犬の症状 1万件
アクセスログ 1億
オークファンのデータ 200億
→小売、実売価格過去10年200億
月々数百円で買う→質屋さんの参考価格
おーくしょんなどでも
値決め・取引
データ
クリーニング
分析
①データ
国内ショッピングサイトオークションサイト
海外ショッピングサイトオークションサイト
②クリーニング
データビジネスの中心
オークション:なまえを自分で決められる)
自動+手動(MOCSY)
③分析
オンライン
たぶろう
ビジネスの肝は、②クリーニング作業
商品:1億件
結論:
データ 汚い、ない
パネルディスカッション:いままでの登壇者みんな
リクルート
メディアの学校
成功事例の共有、横展開する文化
ドワンゴ
アマチュア→プロになっている
オークファン
スモールBをターゲット
顧客・ユーザー部門とコミュニケーションで大切にしてること
ケーパが違う人とアイデアフラッシュする
スピード感:とりあえず作ってみたけど・・
→プロトがあると、創発しやすい
狙ったデータがでるとは限らない:NO1
どう使えるデータか、落とし込む
期待値調整、期待を持っている人は誰なのか、期待の色はなんなのか
苦労した定義、水準、指標にまつわるエピソード
後継者、右腕をどのように発見、育成しようとしているか
転職・買収してみたい会社
ソーシャルキャピタルデザイン:
ドワンゴ→イベント
医療カルテ、食品
保育、給食事業者
出版、農業
7月8日 Hadoopカンファレンス
その内容をメモメモ
まずは、基調講演から
第二回データサイエンティストサミット
基調講演(キーノート)
NRI 鈴木良介氏
この4年間のビッグデータ
2010年 アメリカで使われるようになった
2011年 今年こそはビッグデータ元年
前半 IT業界の用語→Hadoopご存知
秋口 これからの商売→日経あおった→
2012年 ビッグデータって、何なんでしょう?
→小松の話
2013年 普通の会社でもビッグデータ
→うちの会社にもデータ:中期経営計画
2014年 具体的に決まってないよね・・・
→いつまでに、なんぼ回収するつもりなのか?
今日の登壇者:ネット系→先行(成功、課題)
キュービタル:草野さん
ブレインパッド+YAHOO Japanの合弁
・ブレインパッド
10年間データ分析
分析にはいくつかの要素がかみ合う
データの収集&蓄積
ビジネスに関係性のある
豊富で質の高いデータ
データ加工分析
適切な文是機を実施するために
大量なデータを必要十分な
スピードで処理する環境
時にリアルタイム性も
適切な分析とビジネス活用
ビジネス課題の分析と落とし込み
適切な分析の実施
分析結果のビジネスへの適応
さまざまなアドバイスはできても、本質的な解決にはいたらなかった
データの収集&蓄積
そんなに優秀な分析官がいても、どんなに高度な分析環境があっても、
質の悪いでーたでは。。。
YAHOO Japan
真の課題解決エンジンにむけて
広告販売だけでは、これからのマーケティングの
ソリューションとしては不十分
広告→データ
ミッション
YAHOOのマルチビッグデータ
お客様のデータWebログ、CRMデータ
YAHOO! DMP
DMPはマーケティングの中心的な存在
広告、CRM,LPO、商品開発
YAHOO DMP
ベロシティー 0.2秒(人間の最短反応時間)
ボリューム 1ヶ月約560億PV
バラエティー YAHOOサーボス
オムニチャネル
YAHOO!タグマネージャーPlus
カバレッジ
PCレベルで8割
企業の中でたまっているデータ
優良顧客
リピート顧客
新規顧客
見込み顧客 →YAHOOのデータとぶつけられる
潜在顧客 →YAHOOのデータとぶつけられる
接触あるお客様は分析できる
接触ないお客様を分析
最先端の分析環境
Hadoop+α MAPR、SKYTREE(機械学習)
データウェアハウス Greenplum
ビジネスインテリジェンス tableau
トータルで支援
クックパッド 中村さん
日本最大のレシピサイトを支える食の検索
クックパッドの紹介
のべ4400万人、スマートフォンからが伸びている
→スマートフォンと相性がいい
チラシ・お店情報「特売情報」
・例:バターチキン
使われている材料が特売していたら出す
クックパッドに集まるデータ
日本で一番利用されている料理サイト
→日本で一番食卓情報が集まっているサイト
検索ワード
食べるものをイメージ→ニーズの塊
検索データ:シェア前提でない→本音が見やすい
たべみる
2014年おうちごはん番付
塩レモン:2014年3月から急上昇
スタートは2013年5月から?
検索データの活用
・人気のキーワードランキング
・クックパッドニュース
・トップページレシピの選択
→特売情報と連携:反映
アボカドを7月に売りたい
7月にピークがくるのはどんぶり
→アボカド丼 前週比170%、併売品売り上げ急増
アボカドカッター2年分を3日で
まとめ
毎日の料理を楽しみにできるような、データ活用方法を
リクルートテクノロジー 西郷さん
リクルートのビジネスを支える分析・活用手法
1.はじめに リクルートの紹介
何屋→情報サービス
「まだ、ここにない、出会い」
ライフイベントとライフスタイル両方の領域
紙、ネット、モバイル、スマートデバイス
スマホアプリのほうが、数が多い?
ネットインフラやデータ分析基盤がKey
リクルートテクノロジーズ
外販してない会社
2.基盤について
Hadoop
データウェアハウスPureData
BI
・Hadoop
パブリッククラウドとの連携
3.活用事例
200件のデータ利活用推進
可視化分析
CameranXSNS解析事例
アプリダウンロード数とSNSの盛り上がり
パーソナライズ・レコメンド
リクナビNext
成功事例を横展開
GeoIPアドレスデータ:売ってる
協調フィルタリングとグラフ理論
パーソナライズすると→テールが上がる
5.データサイエンティスト
分析
テクノロジー
ビジネススキル・マーケティング・管理能力
Hadoopカンファレンス 2014eventbrite
OKWave 羽野さん
OKWaveのデータ分析ビジネス
Q&AサイトOKWave
累積回答3000万
QAパートナー
・教えてGoo
・MSN相談箱
:
Q&Aデータベース
ビジネスに活用
2013年5月「OKWave総合研究所」
VOC分析レポート
これまでに十数件
Q&A分析
質問→回答→お礼
ユーザー登録情報の分析
住まい:社会人30、40台
収入とローン借り入れ金額の傾向
ダイエットをする10代女性 VS 30代男性
質問内容の可視化→本音を発掘
回答データを活用した評判分析
引越しの例
→自社/競合の製品サービス
お礼データを活用した分析
「無理なんですね」
→解決されない悩みから新商品開発のヒント
2つのポイント
1.分析に集中できる環境を作ってもらう
2.分析テクニックよりも考察→アクションプランまで落とし込む
ドワンゴ ニコニコ事業部 細川さん
にこにこ
登録アカウント数:4000万
投稿された動画:2400万
生放送番組:1億8千万
ライフスタイルの移り変わりが分かる→大量のログ
・プレミアム会員が大きな比率
UGC(UserGenerated contents)
・文化、生態系
A/Bテスト事例
A,B→挙動変化(CTR/CVRを主な指標として判断)
消費税の税込み表示 有意差ない
詳細分析事例
HHI:月間コメント数でのユーザー散布図
分析関連開発
hadoop,fluentD,mahout,H・BASE
より良い相互作用を提供する場へ
データサイエンティストのかかわりから
ディレクター
KPI
ABテスト
キャンペーン
アナリスト
広域分析
掘り下げ
数学的手法
エンジニア
開発基盤
だめな例
ディレクタ・アナリスト/ エンジニア
シームレスなスキルを持ったチームへ
オークファン 植山さん
目の研究 1000件
犬の症状 1万件
アクセスログ 1億
オークファンのデータ 200億
→小売、実売価格過去10年200億
月々数百円で買う→質屋さんの参考価格
おーくしょんなどでも
値決め・取引
データ
クリーニング
分析
①データ
国内ショッピングサイトオークションサイト
海外ショッピングサイトオークションサイト
②クリーニング
データビジネスの中心
オークション:なまえを自分で決められる)
自動+手動(MOCSY)
③分析
オンライン
たぶろう
ビジネスの肝は、②クリーニング作業
商品:1億件
結論:
データ 汚い、ない
パネルディスカッション:いままでの登壇者みんな
リクルート
メディアの学校
成功事例の共有、横展開する文化
ドワンゴ
アマチュア→プロになっている
オークファン
スモールBをターゲット
顧客・ユーザー部門とコミュニケーションで大切にしてること
ケーパが違う人とアイデアフラッシュする
スピード感:とりあえず作ってみたけど・・
→プロトがあると、創発しやすい
狙ったデータがでるとは限らない:NO1
どう使えるデータか、落とし込む
期待値調整、期待を持っている人は誰なのか、期待の色はなんなのか
苦労した定義、水準、指標にまつわるエピソード
後継者、右腕をどのように発見、育成しようとしているか
転職・買収してみたい会社
ソーシャルキャピタルデザイン:
ドワンゴ→イベント
医療カルテ、食品
保育、給食事業者
出版、農業
7月8日 Hadoopカンファレンス