昨日(1/21)
データサイエンティスト協会 木曜セミナー #05 『ビッグデータを活用するための一歩すすんだ手法を伝授します!』に行ってきた!
その内容をメモメモ
マイクロソフト
8月からデータサイエンティスト協会とJOIN
■内田洋行さんから、会場の紹介
ドラマの撮影にも使ったことあり あんどろいど
柴崎こうさんが勤めていた会社のエントランスはマイクロソフト(品川)
中は、ここ
■マイクロソフトの発表
・資料は
http://aka.ms/2016dsa5にあり
・自己紹介
・今日のゴール
マイクロソフトが提供しているデータ分析のためのサービス概要を把握する
・Azure Dataway(Hadoopのラッピング、前処理)
・Rサーバー
・機械学習、API
1.マイクロソフトのデータ分析基盤
・Azureサービス全体
ないものはないくらい充実
Analitics and IoT
クラウドに投資、これからも投資
・マイクロソフトのBigData&分析サービス
IoTシナリオ、データ発信 収集
変換・集約
格納
分析処理:今日ここ
・マイクロソフトのデータ分析基盤がめざすところ
データから得られる価値
夜間バッチ→BI:昔から
ここ数年
双方向ダッシュボード:リアルタイムに近い Power BI,たぶろー、くりっくびゅー
予測
自動通知まで
・利用事例
1.Pier1 imports
2.医療センター
大規模データを使った分析を行う際の現状
・データ量の劇的な増加
・ログレコードやセンサーデータを全部格納して分析
・Apache Hadoop,Spark
→一部の企業、やりたいけど・・・
・Azure Data Lake
分散バッチ処理を簡単に
マイクロソフトの社内システムCosmos SCOPE基盤
・ストア
・アナリティクス
・HDインサイト→HadoopをPaaSとして
・Azure Data Lake特徴
実行のつど、並列多重度変えられる
USQL:ユニファイドSQL(統合SQL)
Hiveに似たような感じ
Rサーバー
マイクロソフト Rサーバー
R Open
Rサーバー
R Open:実行環境
並列分散でパフォーマンス挙げる
並列処理多数。ノード処理分挙がる
スケールR
組み込み済み並列処理ぱっけーじ
デベロッパー
デプロイR
Webサービスとして提供→REST API
今後の機能拡張
Azure MLで実行環境R
VisualStudioでR
まとめ
ROpen無償RServer有償
機械学習を具体的なAPIとして利用
AzureML 機械学習の実装、利用を支援するサービス
R,Pythonで独自実装可能
100万台以上、世界中つないでる企業・・・月8万円→安い
アルゴリズム(モデル)たくさん
回帰、ニューラルネット、K-means、異常検知など
WebAPIとして公開できる
Cortana(こるたな) Analytics Gallery
作成したAPIを公開できる
今、マイクロソフトリサーチが提供したAPIがある
experiment:処理 ベースラインとして使う
ソリューションテンプレート
ソリューションテンプレート
車からのテレメトリーを分析するシナリオ
ビジュアルに見せてくれる
Power BI(可視化ツール)のアウトプット
マシンラーニングAPI
テキスト解析(英語)
1万トランザクション ただ
10万トランザクション 3万円とか
ネガポジをレスポンスとして返す
→トレーニング済み
Project oxford 実験に近いもの
音声、動画、静止画の開発環境(有名なの
How old.net)
音声→だれかを識別
スピーチ to Text
マシンラーニング
Azure ML 自分で機械学習
ソリューションテンプレート
Project Oxford
宣伝
マイクロソフトのBigData&分析サービス
→パッケージ化
(1)Azure IoT Suite 月7~15万
(2)Cortana Analytics Suite:収集から分析
(Rサーバーは入っていない)
質問コーナー
・R ServerのPaaSは?
AWS上でR Serverを動かすことは可能
そういう意味ではなく、PaaSはあるかというと、今、PaaS提供はない
今後はいえない。認識はある
・Visual StudioのRとDeveloper R、どっちがいい
Visual StudioのRは今作っている。
そのため、Developer Rのほうが、今は機能豊富
だが、今後は、どこかで交わる?
・Developer RとR studio、どっちがいい
そもそも、Windows版以外(Linux版など)は、DeveloperRは、
R Studioのアドインソフト
・WebAPIの料金体系は?
何回呼んだかと、処理時間の2点で課金
1000回で51円、1時間204円
最後に
・マイクロソフトは「使っていただく」という文化に変わった
・
PowerBIは、無償版がある