昨日、「データサイエンティスト協会」の「木曜勉強会」で
「Ruby、R、HTML5を用いたデータ解析データビジュアライゼーション」
を聞いてきたので、その内容をメモメモ
■データサイエンティスト協会から
統計数理研究所 データサイエンティストのインターンシップ:企業紹介
慶応大学:YAHOO、QPR(マクロミル)3Dセンサーデータの解析のコンテスト http://dmc-lab.sfc.keio.ac.jp/digci/
dotsを使うよ
個人会員は無料
■内田洋行から会場について
futute class Room
New Education expo 2015にでるよ!
会場のコンセプト映像
■Ruby、R、HTML5を用いたデータ解析データビジュアライゼーション 博報堂DYメディアパートナーズ
・自己紹介
HiveQL,R,Processing,Three,js,タブロー
・Lineの履歴の可視化
・Amazonの購入履歴の可視化
・広告会社でプログラミング?
→研究開発ではまえでも
むかし、アンケート、いま、ちがうものも
→マーケティング、メディアプランニングも機械学習
メディア開発
・広告会社が扱うデータの多様化
従来:アンケートベース
今:クッキーベース
CRM、顧客データ
・カバー範囲
データ解析の必要性●
データ収集
前準備
データ解析
モデリング
可視化
・なぜデータ解析が必要なのか
ミクロ経済学
大きな見落とし
消費者が意識している?→擬似的に数字
常識でも理解できるかもしれないけど、モデルの力
・CASE1
データ収集「口コミデータを収集する」
ソーシャルツール発達
rubyの"anemone" と"nokogiri"を使う
クローラー 抜き出したところの処理
→細かい話は参照してね
・CASE2
データ収集:心拍数データを収集する
ヘルスデータ
webカメラで収集:WebRTC
指の血中濃度の変化で心拍数が分かる
WebRTC ブラウザでリアルタイム
→赤色チャンネルの明度を計算(平均値)
・CASE3
データ可視化 Jリーグ
自己組織化マップ+Three.js
オープンデータと掛け合わせ
「データスタジアム社のデータ」
全部のデータを使う
自己組織化マップ
→前情報なしで、類似しているものをマッピング
主成分分析の場合、寄与率でどれだけ使っているか分かるけど、
切り捨てている
クラスタ分析:非線形には向いていない
Rでの実装
ライブラリ読み込み、標準化、出力、プロット
Three.js
3次元描画
サイズ
レンダラー
カメラ位置
シーン定義
・CASE4
データ可視化「神戸市観光」
DMP+Processing
DMP:データを集める→オンライン上のデータの一元管理
自社データ:Cookieデータ
広告データ
サードパーティデータ
移動履歴データ
デモグラごとの
データフュージョン
processing
シミュレーションモデル
フィルタリングできる
・Case5
データ可視化 だるびっしゅ
データスタジアム社のデータ だるびっしゅのデータを音で
Three.js+Web AudioAPI
球速→周波数
球種→音の種類
web audio API
プラグインいらない。0ベースで音作れる
・CASE6
データ可視化「生活定点」
形態素解析+アソシエーション分析
Three.js
オープンデータになっている
似ているものを出してくる
生活定点をこう使う
DMP→似たような記事
→ふだん、どういうサイト見ている?
→アソシエーション分析
形態素解析RMecab
igraph→ネットワーク表示→SVGでトレース
サイトAを見ている人がサイトBを見ている
→YAHOOを見ている人はGoogle見てる
→リフト値をもとに配置位置を変える
・CASE7
データ可視化「Takumi」
石田たくみ君のSNSの発言履歴
言いそうな言葉→機械学習でモデリング
・データ分析→主観含む
分析者の定義;主観がはいる→多層的
データビジュアライズのメリット
探索的なデータ解析可能
おもしろみを伝える
データリテラシに関わらず議論できる
・データ解析はエモーショナル
http://www.mirandora.com/
で詳しく。
ごめんなさい、質疑応答は時間がなくって聞けなかった。
「Ruby、R、HTML5を用いたデータ解析データビジュアライゼーション」
を聞いてきたので、その内容をメモメモ
■データサイエンティスト協会から
統計数理研究所 データサイエンティストのインターンシップ:企業紹介
慶応大学:YAHOO、QPR(マクロミル)3Dセンサーデータの解析のコンテスト http://dmc-lab.sfc.keio.ac.jp/digci/
dotsを使うよ
個人会員は無料
■内田洋行から会場について
futute class Room
New Education expo 2015にでるよ!
会場のコンセプト映像
■Ruby、R、HTML5を用いたデータ解析データビジュアライゼーション 博報堂DYメディアパートナーズ
・自己紹介
HiveQL,R,Processing,Three,js,タブロー
・Lineの履歴の可視化
・Amazonの購入履歴の可視化
・広告会社でプログラミング?
→研究開発ではまえでも
むかし、アンケート、いま、ちがうものも
→マーケティング、メディアプランニングも機械学習
メディア開発
・広告会社が扱うデータの多様化
従来:アンケートベース
今:クッキーベース
CRM、顧客データ
・カバー範囲
データ解析の必要性●
データ収集
前準備
データ解析
モデリング
可視化
・なぜデータ解析が必要なのか
ミクロ経済学
大きな見落とし
消費者が意識している?→擬似的に数字
常識でも理解できるかもしれないけど、モデルの力
・CASE1
データ収集「口コミデータを収集する」
ソーシャルツール発達
rubyの"anemone" と"nokogiri"を使う
クローラー 抜き出したところの処理
→細かい話は参照してね
・CASE2
データ収集:心拍数データを収集する
ヘルスデータ
webカメラで収集:WebRTC
指の血中濃度の変化で心拍数が分かる
WebRTC ブラウザでリアルタイム
→赤色チャンネルの明度を計算(平均値)
・CASE3
データ可視化 Jリーグ
自己組織化マップ+Three.js
オープンデータと掛け合わせ
「データスタジアム社のデータ」
全部のデータを使う
自己組織化マップ
→前情報なしで、類似しているものをマッピング
主成分分析の場合、寄与率でどれだけ使っているか分かるけど、
切り捨てている
クラスタ分析:非線形には向いていない
Rでの実装
ライブラリ読み込み、標準化、出力、プロット
Three.js
3次元描画
サイズ
レンダラー
カメラ位置
シーン定義
・CASE4
データ可視化「神戸市観光」
DMP+Processing
DMP:データを集める→オンライン上のデータの一元管理
自社データ:Cookieデータ
広告データ
サードパーティデータ
移動履歴データ
デモグラごとの
データフュージョン
processing
シミュレーションモデル
フィルタリングできる
・Case5
データ可視化 だるびっしゅ
データスタジアム社のデータ だるびっしゅのデータを音で
Three.js+Web AudioAPI
球速→周波数
球種→音の種類
web audio API
プラグインいらない。0ベースで音作れる
・CASE6
データ可視化「生活定点」
形態素解析+アソシエーション分析
Three.js
オープンデータになっている
似ているものを出してくる
生活定点をこう使う
DMP→似たような記事
→ふだん、どういうサイト見ている?
→アソシエーション分析
形態素解析RMecab
igraph→ネットワーク表示→SVGでトレース
サイトAを見ている人がサイトBを見ている
→YAHOOを見ている人はGoogle見てる
→リフト値をもとに配置位置を変える
・CASE7
データ可視化「Takumi」
石田たくみ君のSNSの発言履歴
言いそうな言葉→機械学習でモデリング
・データ分析→主観含む
分析者の定義;主観がはいる→多層的
データビジュアライズのメリット
探索的なデータ解析可能
おもしろみを伝える
データリテラシに関わらず議論できる
・データ解析はエモーショナル
http://www.mirandora.com/
で詳しく。
ごめんなさい、質疑応答は時間がなくって聞けなかった。