「AWSによる番組を中心としたビッグデータ基盤の構築と活用事例」を聞いてきた

今日（６月２日）AWS Summitにいって聞いてきた話のつづき

AWSによる番組を中心としたビッグデータ基盤の構築と活用事例
講師：テレビ朝日の人
をメモメモ

---

・自己紹介

・テレビ局もビッグデータを活用する時代です
　視聴率がすべて
　ビッグデータというワードも：２年くらい

１．番組を中心としたビッグデータとは
２．サービス事例
３．システム構築、運用について

テレビ局と視聴者の接触面
　通信を使うことが多くなってきた
　双方向ログがビッグデータになる

番組を中心とした情報は宝の山

海外テレビ局もビッグデータを活用
データはあるけど、どう使う？
テレビ局が活用するビッグデータは、番組を中心として構造化
　番組サイトアクセスログ、番組メタデータなどなど・・
番組を中心としたビッグデータの構造
　　価値が高い・・
　　　番組視聴ログ→技術的には可能だが、ユーザー説明、インターネット結線率で問題
　　　番組連動ログ→セカンドスクリーン企画、番組終了から1時間以内にプレゼント応募（準視聴ログ）
　　　番組サイトアクセスログ
　　　番組関連グッズを買った
　　　ＳＮＳログ、ユーザー属性データ、番組メタデータ→放送局でなくても集められる

　テレビ局しか集められないデータに注力
　　　　→自社で収集
　ＳＮＳなど、他社でも集められる
　　　　→他社とデータ連携
ビッグデータをＬｉｎｋ　ＩＤで統合管理

ログイン不要のＬＩＮＫ　ＩＤをユニークキーにしてデータ管理
　　クッキーのＩＤ：ユーザーを識別できるけど、特定できないＩＤ
　　ＩＤの発行は１４００万を超えた：１週間でも１００万ＵＵ
パーソナルデータ
　　識別・特定情報＝個人情報
　　識別・非特定情報＝ここでのテーマ
　　非識別・非特定情報

２．サービス事例
アウトプット３つ
（１）レコメンド
（２）Ｏ２Ｏトラフイック誘導
（３）マーケティングデータ

あなたにぴったりのオリジナルランキングをハイブリッドキャストにてお届け
２０万パターンの情報の中からユーザーの嗜好に応じたコンテンツを出しわけ
テレビとインターネットのデータを連携
スマートフォンとテレビ：ペアリング
テレビコンテンツのパーソナライズ化

番組の視聴可能性層に対する
新たなプロモーション手段についても検討
番組を見たであろう人をターゲティング

テレ朝アプリ：音声キャッチ
　テレビ朝日の番組見てたらマイルがたまってハワイに行ける？
　　→ビッグデータとして管理

３．システム構築、運用について
データウェアハウス：RedShift
ＢＩツール：たぶろう
たぶろうでマーケティングデータを集計

２年前はＡｍａｚｏｎＥＭＲとＨｉｖｅの構成で
　プログラミングベースの運用
→インプットデータのクレンジングが進み、
　汎用性よりも運用効率を重視

ＥＭＲ：スポットだとコスト安い
ＲｅｄＳｈｉｆｔ：ＰｏｓｔｇｒｅＳＱＬ互換、たぶろー

来年変わるかも。きっちりシステム化するのではなく

ＢＩツールの導入段階は開発を外注して（あるべると）ノウハウを得ることに
データマートの設計、データビジュアライズ
最終的には内製

たぶろーで極力ＳＱＬを実行しないようにテーブル設計
開発期間は３カ月
テーブルをきめて、クレンジングして入れていく

AWSで機械学習、MySQL（性能５倍）、ファイルシステム、イベント起動とかを少し聞いてきた

今日（６月２日）AWS Summitにいって、基調講演で
　AWSで機械学習（Ａｍａｚｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ）
　AWSでMySQLただし、性能５倍（Ａｍａｚｏｎ　Ａｕｒｏｒａ）
　AWSでファイルシステム(Amazon Elastic File System : EFS)
　AWSでイベント起動で動かす（Ａｍａｚｏｎ　Ｌａｍｂｄａ)
の話をほんのちょっとだけ話してたので、
その内容をメモメモ（いや、ほんのちょっとだけなので、期待しないでね！）

---

キーノート　長崎社長
１３９００の登録　クラウドがNew ノーマル
実際に使って、変革を起こしているお客様から聞く

AWSビジネスの成長
・そもそもAMAZONとは
　スタートアップのとき、ナプキンに書いたビジネスモデル
　　→低価格体質：値下げでお客様に還元
・４８回値下げ
・スケール、スピード、イノベーション
　AWSはアマゾンのビジネス課題を解決するために生まれた
　　→プログラマぶるなインフラストラクチャ　API

・S3からスタート
　　９年の経験と実績
　　世界に１１のリージョン（複数のデータセンターのクラスタ：アベイラビリティゾーン）
　　５３エッジロケーション
　　１０２％の年間成長率
　　１００マンを超えるアクティブユーザー
・スタートアップ企業のお客様
　エンタープライズ企業のお客様
　教育・公共機関のお客様
　APNプレミアコンサルティングパートナー
　　　NRI、クラウドパック、サーバーワークス、クラスメソッド
　APNテクノロジーパートナー（ISV)
　　SaaSをクラウドネイティブで作る
・増え続けるAWS対応ソフトウェアとSaaS
　　１６のソリューションカテゴリ、３２０ページ
・ユーザーコミュニティ　JAWS-UG
・がートナーのまじっくくわどらんど

・クラウドは今やニューノーマルに
　クラウド＝ニューノーマル
　　スタートアップ企業における新たなビジネス
　　　　すべてのアプリケーションをクラウドで
　　　　　→スピードをどれだけ速く回すか
　　　　日本でも：広告宣伝がなくても。価値があれば

ゲスト：クラウドワークス　吉田さん
　スタートアップの事例
　正社員比率５０％を切る
　年収１０００万、７０歳を超えて月収２０万
　ELB,RDB

スピード気分性はスタートアップ企業だけでなく、あらゆる組織へ
クラウドなくして競争に勝つのは困難
　これまでは、ハードウェア、システムをもつ、管理
　今では
　　デジタルトランスフォーメーションをクラウドで
　　デプロイのスピード

ゲスト：リクルートテクノロジーなかおさん
　リボンモデル　－１０　X -10＝１００
おぽちゅにてぃーふぉーらいふ
予測不能なものにAWS


お客様のニーズは多様で異なる
　　コストではなく、アジリティとスピード
　　やりたいことを早く実現できるか：縮退
　　AWSのコアサービス
　　既存IT資産のクラウド移行を容易にするサービス群
　　VPN,BYOL,スクラッチ、クラウドネイティブ（ＳＡＰ　ｏｎ　ＡＷＳ）
　　どのインフラストラクチャー提供企業よりも豊富で多様なサービス

がートナー
　ＩＴ部門はＩａａＳクラウドプロバイダをコモディティのように扱うべきでない
　→お客様のニーズに合ったプラットフォームをごようい

加速し続けるＡＷＳイノベーション
　共有ファイルシステムの課題
　　Amazon Elastic File System EFS
　　ペタバイトでスケールする
　今年の夏正式：現在プレビュー
　簡易コンソール日本語化

企業のデータ活用はかつてないほど
　データ収集、保管、分析、共有は
　　　かつてはとても困難
　ビッグデータ処理のためのサービス軍
　　だいなも、おーろら、れっどしふと
　　きねしす、ＥＭＲ
　多くん企業がビッグデータ分析をＡＷＳで実施
　より効果的なデータ活用に向けて、機械学習を利用するお客様が急増中
　アマゾンにおける機械学習の歴史
　機械学習をもっと車内で活用できないだろうか？
　フルマネージド機械学習
　　Ａｍａｚｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ
　　　数百ギガ、ワンクリック、フルマネージ

古い足かせからの解放
　これまでのデータベースの世界
　　多くのお客様がオープンソース・・性能チューニング必要
　→Ａｍａｚｏｎ　Ａｕｒｏｒａ：ＭｙＳＱＬの５倍

　デスクトップにも似たような背景
　→ＡｍａｚｏｎＷｏｒｋＳｐａｃｅｓ
　　　じょんそんあんどじょんそん

絶え間ない変革
　ＥＣ２インスタンスの変化
　　→コンテナ
　Ｄｏｃｋｅｒコンテナサポート
　Ａｍａｚｏｎ　ＥＣ２　コンテナーサービスＥＣＳ

　Ａｍａｚｏｎ　Ｌａｍｂｄａ（らむだ）
　　→イベントをトリガーにサービス立ち上げ
　　　node.jsに対応、そのうちJava
　　→ＩｏＴ

クラウドへの移行はゼロイチではない
　　もっていけるものから、もっていく
　　セキュリティ
　　　　第三者認証と監査
　　クラウドを利用しても、データは１００％お客様が管理

顧客・パートナー　オールイン
　ネットフリックス　２００９　ＡＷＳ
　２００８　ワークスアプリケーション　オールイン
　２０１４　Ｉｎｆｏｒ
　ＡＷＳへのオールインが普通のことに

ゲスト：ファーストリテーリング
　ＩＴ
　　１．グローバライゼーション
　　２．デバイスアゴノスティック
　　３．クラウド
　→ラージコミュニティの存在
　　ぼしゅうしてるよ！

重力にはさからえない

インテルが（ＦＰＧＡの）アルテラを買収した！ですと（＠＿＠）！

米インテル、2兆円で同業買収＝新たな収益源模索
http://headlines.yahoo.co.jp/hl?a=20150601-00000143-jij-n_ame

(以下太字は上記記事より引用）


半導体世界最大手の米インテルは1日、米同業アルテラを約167億ドル（約2兆円）で買収すると発表した。

ルーター狙うサイバー攻撃－ロジテック

ルーター狙うサイバー攻撃 社告で対策呼びかけ
http://www3.nhk.or.jp/news/html/20150601/k10010099491000.html

によると（以下太字は上記記事より引用）


ロジテック社によりますと、平成２１年から平成２４年にかけて販売したネットへの接続に使うルーターと呼ばれる製品の一部でソフトウェアに欠陥があり、サイバー攻撃に悪用される被害が全国で相次いでいるということです。
この欠陥を放置したまま利用すると、ネット接続用のＩＤとパスワードが外部に流出するということです。

とのこと。上記記事には、被害にあった人の声も載っている