ベイズ的最適化

10/31(月)、第6回ステアラボ人工知能セミナーに行ってきた！
内容をメモメモ

■ごあいさつ
・ステアラボの説明
・講演者紹介　東京大学　佐藤一誠先生

■ベイズ的最適化(Bayesian Optiomization)の入門と応用
・自己紹介
　トピックモデルの本などを書いているが、今日の話は違うこと

・ベイズ的最適化
　次はどの点を探す？
　　真ん中を調べたい人！大多数
　　高いほうの近く：一部の人→連続性
　→仮定として入れる

　高次元になったら？→人の直感は効かない
　　→ベイジアン

　形状の最適化

・問題
　３つの薬品（ABC)の投入の順番による効果を分析したい
　　→ラテン方格による実験計画
　　　　ラテン方格：各行列に現れるシンボルの種類は1つ
　ラテンハイパーキューブサンプリング

　→あらかじめ固定された実験計画ではなく、これまでに観測してきた実験結果から
　　次の実験を

・事前に設定しておくハイパーパラメータ
　ブラックボックス関数の最適化
　　事前分析を仮定し、事後分布をもとに最適化しよう
　最適：収束する点列を生成する
　　背後にあるもの：ガウス過程（ガルシアンプロセス：GP)を仮定する
　　　ｆ～GP(ｆ｜ｍ、ｋθ）
　点の近さ：カーネル関数

　ガウス過程に従う関数ｆのｎ点はｎ次元ガウス分布に従う
　→ベイズ予測分布が解ける→MCMCとかいらない

・観測情報がない
　３点与えられる→関数の可能性
　ガウス過程を事前分布に用いると、扱いやすい事後分布が求まる

・事後分布の情報を利用して部タックボックス関数の最適化は出来ないか
　→探索・活用トレードオフ：強化学習

・コンフィデンスバウンド　
　ai(x)=μ(x)+kσ(x)
　をもとめて探索

・リグレット：理想的な状態からどれだけ離れているか

・獲得関数をどうするかが肝

・Expected improvement
　Mutual Information(CPLI)
　　GP-UCBと一部同じ
　　最初探索、後半で活用
　　ロバスト

・適応例
　・Himmelblau をBOでとく
　・word2vecをBOでチューニング
　・Online LDAをBOでチューニング

・複数行列分解をBOでチューニング
　動くの９が２０次元くらい
・DNNをBOでチューニング
　エポック数
　学習数

・細かい話。
　よく使われるカーネル
　　ARD　squared exponential
Matern Kernel
なめらかさをかてい
　　Matern Kernel：ベッセル関数
　　ARDもθがでる
　カーネルパラメータθの値
　　経験ベイズ
　　MCMC：BOでは、こちらのほうがいい

　獲得関数の最適化
　　解けることを仮定：とけないときは？
　　　近似的にとく
　　　候補点：サンプリングして調べる？
　　　　→ラテン　ハイパーキューブ　サンプリングを（内部で）使う
　ガウシアン：コンパクトな空間
　正規化：大事

・BOの最近の話題
　マルチタスクBO
　　マルチタスクGPを用いる
　正規化の学習
　制約つきBO
　高次元BO 100次元くらい
　

バグの信頼度曲線（成長曲線:S字カーブ）のまとめ

これを探している人が居る？っぽいので、まとめ

■バグの信頼度曲線の数式、係数の意味とかについて

バグの成長曲線（ソフトウェア信頼度成長モデル）の係数の意味
http://blog.goo.ne.jp/xmldtp/e/5c5bb699055e3c376cf1cf61ece3e7d4


■Rでの求め方

バグのＳ字曲線とかを、Ｒを使って求める（ただし、正確ではない）
http://blog.goo.ne.jp/xmldtp/e/b062f8a684870cabb7ffa3cae3d74d17


■Excelでの求め方

バグの信頼度曲線（成長曲線）書いて、予測しておいて…といわれ、途方にくれたあなたへ
http://blog.goo.ne.jp/xmldtp/e/24a8b55c9ef9271b3a055216c8bc02c0

美男美女のみ採用するようにした会社の末路

前年比売り上げ120%、利益900万アップ

美男美女のみ採用するようにしたうちの会社の末路ｗｗｗ
http://hamusoku.com/archives/9399636.html

GR-PEACHのスワイプランナーのゲーム？のデモ

ＡＲＭのmbedのスワイプランナーのゲーム？のデモ
こういうのをみると、Raspberry PiよりGR-PEACHのほうが、よかったかな、やっぱ・・
と思う・・・

Renesas GR-PEACH - Swipe Runner Demo
https://www.youtube.com/watch?v=bCV1_60CWMk

コンピュータ・情報関係用語集（英語・中国語）

あとで見るためＵＲＬをメモメモ

コンピュータ・情報関係用語集（英語・中国語）
http://home.riise.hiroshima-u.ac.jp/~ten/index.html#6

JapanITWeek秋に行って来た

　IoTやビッグデータ活用、クラウドなどいろんな展示があつまっているJapanITWeek秋に行って来た。
・IoTは、通信モジュール、センサーのような部品系が多い（ソリューションもあったかもしれないけど、目だったのは、OMRONとか、村田とかの部品系。ただ、そもそも、富士通、日立製作所のようなソリューション大手は出ていない）
・通信はLoRaが出ていたり、農業IoT、パナソニックが光ディスクで？など、マイナーなものまで出ている。結構、奥が深い。
・フルオーダーの人工知能９８０００円とか、さかんにしてた（DATUM STUDIO)
・クラウドはそこそこ展示大きい。さくらとか、ニフティとか（最近の展示の特徴）
・ID連携とかもやってた・・そういえば、セキュリティもあった。
・Pepperは、いくつかのブースに数台あったけど・・・
・Fintechもコーナーみたいなかんじで、あった。
・バルテスさんが、テストマップの紹介をしていた。
・Twitterさん強気です。机と人しかいないです・・・


最近、感じるんだけど、展示の人気は２パターン
・ひとつは、センサーと通信メーカーによるIoT（小規模な展示多い）
・もうひとつは、クラウド関係（そこそこ大きい展示が多い）
その合間を縫って、各種ソフト・サービスが展示している。

このJapan IT Weekもまとめてしまうと、そんなかんじ。

Rでの作業の進め方の「基本的な型」

　テストに、基本的な型があると教わってきたので、データ分析の基本的な型を
考えてみる。ただ、抽象的に言ってもなんなので、具体的に。

■基本の型
　　以下の手順で行う
　　　　データ収集
　　　　分析
　　　　表示・報告
　　これを、Rでは、どういう仕組みになっているかを示す。

---

■「データ収集」のRの基本
　Rでは、基本的に、データ分析を行うには、
　　　データフレーム＝データ（マトリックス）＋項目名（colname)
　の形にして行う。

　つまり、データを何らかの形で入力して、データフレームにするのが、
データ収集の役割といえる。

　かんたんなところでは、CSVを読み込むread.csv(ファイル名）などがある。

---

■「分析」のRの基本
　分析は、データフレームから、「それぞれの分析方法（データとパラメタ）」を実行して
　結果を入れることになる。この分析方法は様々あり、それによって必要なライブラリが
　ちがってくる。たとえば、
　　　K-meansはkmeans
　　　階層型クラスタリングはhclust
　　　SVMはsmv（ライブラリe1071が必要）
　　　決定木はrpart（ライブラリrpart必要）
　　　重回帰はlm
　　　因子分析はfactanal
　などなど・・・

　ただ、これらの分析は、呼べばすぐやってくれる・・・場合もあるけど、下準備がいるものもある
　たとえば、
　　・hclustは距離を入力させるので、データをデータフレーム(ここではdataとすると）でなく
　　　距離の形dist(data)にしたり、
　　・factanalは、分けるグループ数を決めないといけないんで、
　　　（てきとうに決めてもいいけど）スクリープロットを見ることもある
　　　　　（VSS.scree(iris[,1:4])とかする。ライブラリpsychが必要）
　　・このほか、外れ値、欠測値や正規化処理、相関(cor)を求めることが必要なものもある。
　　・また、lmなどでは、モデルを入れる（目的変数~.　みたいな形）

　そして、パラメータはデフォルトではじめやって、結果をみながら、いろいろ調整していくことになる

　つまり、分析では

　　　下準備
　　　分析
　　　結果をみながらパラメータ調整

　が各分析手法ごとにある。

---

■「表示・報告」のRの基本の形
　sumaryで、テキストベースで統計に必要な情報はでてくる
　plotで図が出てくるものもある。
　ほかにも、書き出し用のコマンドが様々あり（ファイルに書き出す、イメージとして出力など）
　分析に応じて、出方が変わったり、使えなかったりする。

---

Rのコマンドを覚えるとき、使うときは、
　　データ収集：入力用のコマンド？
　　　分析：入力を処理するコマンド？
　　表示・報告：出力するコマンド？
のどれかを区別して覚える必要がある。

分析手法の順番については、またこんど。

学校の現状まとめた「教育ICT リサーチ2016」

日本マイクロソフト、学校の現状まとめた「教育ICT リサーチ2016」公開
http://ict-enews.net/2016/10/24msj/

10月期放送アニメが「放送延期続出」の異常事態。

背景に制作現場の過酷な環境

http://hbol.jp/114251

電通が「労働時間短縮」企業って、知ってた？

新入社員だった高橋まつりさん＝当時（２４）＝が昨年１２月に過労で自殺した大手広告代理店電通が、厚生労働省から育児休業の取得や労働時間短縮に取り組む「子育てサポート企業」に認定されていた
んだって！
電通が「労働時間短縮」企業＝厚労省が認定、取り消しも
http://www.jiji.com/jc/article?k=2016102600822&g=soc
（太字は上記サイトより引用）

「生活の支援としての自動車自動運転」を聞いてきた！

10月２６日、KKE Vision 2016に行ってきた！
そのうち、はじめの基調講演は、本家に書いた
つぎの「生活の支援としての自動車自動運転」をメモメモ

---

■司会者挨拶
・伊藤先生と構造計画
　MASで意見交換
　自動走行に構造計画参画

■生活の支援としての自動車自動運転
・高齢化社会が進んでいる。そういう視点で考えないと
　→中身は生活支援に到達できてないですよね～
　解決すべき課題の提示

・主にヒューマンファクターの問題
　自動運転が導入：ドライバー不要になるわけではない
　　どんなふうに人間が関わり？どんなことを知っていないといけないか
　　１１月５・６日　筑波大の学園祭：ドライビングシミュレーター

・講演の内容
　一過性のブーム？本当に役に立つシステム→どんなことを考える？

・話題
　自動走行の必要性
　自動走行システムの開発動向
　自動走行実現のための課題と今後の展望
　質疑応答

・なぜ自動走行システムが必要か
　　安全の向上
　　　２０２０年までに交通事故死者数を２５００人以下に
　　渋滞の解消
　　モビリティ向上（高齢者、障がい者）
　　　今日の話題
　　時間の有効活用（エンタメ、仕事）
　　　ヨーロッパの人たち
　　コスト削減（トラック、バス、タクシー）
　　技術者の夢
　　　自動で動くモチベーション

・安全の向上
　日本の道路交通安全の動向
　　平成に入ってからの減少→衝突安全の開発・普及／救急医療の発達
　　　衝突した後については、頭打ち：４０００人くらい亡くなっている
　　　　→あと１５００人減らさないと！
　　事故が減った社会的インパクト

　全世界では、年１２０万から１３０万人の交通事故死者がある
　　→１００万人を超えるオーダー：事故が減る社会的インパクトは計り知れない

・免許保有率
　　６０歳から：保有しない人が多くなってくる
　　　→運転し続けたいが、危なくて運転できない：加齢とともに増える
　　→自由に移動できるようになるのはすばらしい！

・高齢者・障害者のモビリティ向上
　　動画　Google：ブラインドの人が自動運転で

・時間を有効に活用

・自動運転の開発動向

・動画：日産自動車　セレナ
・現在の実用化レベルの例
　テスラ　モデルS
　　自動運転便利機能
　　　アダプティブクルーズコントロール
　　　オートレールセンタリングとレーンチェンジ
　　　パーキングスペースディテクション
　　センサー
　　　カメラ
　　　レーダー
　　　超音波センサー
　　→地図情報と連動していない

　　テスラ　モデルS　：家より高い？
　　　カーナビのお化けがある
　　　青い線：システムが車線を認識
　　動画：走っているとき
　　　首都高速走ると・・・いろんなこと起こる
　　　　地図と連動していない：下り坂で加速、出口に向かって加速
　　　　今は、そこが現状

・自動運転と呼ぶんですか？
　本当の意味の自動運転

・自動運転実現に向けた課題
　　法律的な課題
　　　責任の所在
　　技術的な課題
　　　システムが対応できない場面の存在
　　　その場合のドライバとのインタラクション
　　社会的な課題
　　　リスクを負うのは誰か

・事故の責任は誰が負う
　　国際法：ウィーン交通条約（日本はジュネーブ条約に加盟）
　　　第8条　運転者
　　　第13条　車両の間の速度と距離
　　国内法
　　　道路交通法
　　　自動車損害賠償保障法　免責３要件
　　→刑事だけでなく、民事も

・自動運転を支える技術の例：Lidar
　　精密な地図がいる
　　自分が今どこにいるかを正確に認識
　　　→カーナビX：５ｍのずれ、どっちの車線にいる？
　　３次元レーザースキャナー
　　　→道の端まで分かる
　　　→すすんでるけど・・・
　　　　雨降っている状況で　とまってしまったり、
　　　　照り返しがすごいと・・：パイロン蹴飛ばす
　　　　問題ある：お金をどこまでつぎ込むか
　　どうやってつくる？

・死亡事故を起こしたドライバーの投稿
　１台くらいの前方の左右が死角
　そこからはいってくると、なすすべがない

・今年の春の死亡事故
　白い荷台が空と区別がつかない？本当のところは分からないけど・・
　止まっている車の認識は難しい

・センサーの能力に限界

　そこは道じゃない！
　　ろかたにクルマがいる
　法律を部分的に破ってもやらざるを得ないことをデザインとして入れるか？
　　→恣意的な判断になりかねない

・どうぞ、いやどうぞ
　鉢合わせ：相手に先行って貰う→お互いに待って、動かない
　ある種のリスクをとって行動しないと・・→どうやってリスクをとる

・あの赤い棒はなに→社会的な文脈依存

・自動走行とシンギュラリティ
　現在の乗用車と全く同じように使える自動車が
　完全にドライバーレスで自動走行できるようになるためには
　システムは人間と同等か、それ以上の知性を持つことが不可欠
　　　シンギュラリティ
　現実問題としては、もうちょっとトーンダウンした自動運転が必要

　本当に頼りたいところで、頼れないシステム
　　→はしごをはずされる
　むずかしいとことでこそ、システムに頼りたいのに・・

・自動運転にレベルというコトバを聞いたことがありますか？
　　アンケート：ほとんどの人が手を挙げる
　　いばらぎできくと：半分くらい
　１：運転支援
　２：部分的自動　　　　　人間が監視
　　-----------------------------------
　３：条件付自動　　　　　システムが監視
　４：高度自動
　５：完全自動
・SAE　J3016
・レベル5：ちょっときびしい？ある限られた領域なら→それはレベル４？

・高齢・障害者と自動運転
　少なくともレベル３までは必要なときは人間が自分で運転をしなければならない
　→すなわち、運転席に「運転免許証を保有している人」が座っている必要がある
　→免許証を返納した高齢者や障害者は自動運転のサービスを受けられない

・レベル３は実現できる？
　通常時、ドライバには監視は要求されない
　　しかし、システムが制御を継続できない場合は、ドライバが運転を引き継ぐ必要がある
　　ドライバはわき見をしてもいいが、お酒を飲んだり寝てはX

・システムが対処できない場面ではドライバが対処する
　　でも、運転の文脈がわからなくなる（ここどこだっけ？）
　　ドライバに制御引継ぎを出すことが要請される
　　気づいたらいつの間にか危険な状態になっていたということは許されない
　　　　３００メートル、４００メートル、前方大丈夫という

　ありうる外乱を完璧に押さえ込まないと、レベル３を自称できない
　機械の知能でそれが出来るなら、レベル４でいいのでは？

・状況を押さえ込めばレベル３を作れるかも？

　　逆走で１０秒間？

・鉄道が自動化できているのは、外乱の押さえ込み画上手くいっているから
　　無人
　　　ゆりかもめ、にっぽりとねりライナー
　　有人
　　　福岡市地下鉄七隈線、つくばエクスプレス
　列車の知能がそれほど高いわけではない
　外乱が入り込まない工夫をしている
　　　高架、ホームドア等（地下鉄には踏切がない）

・レベル２なら問題ない？
　　いつでも介入できるように準備する
　　　→罰ゲーム？それなら運転する！
　メリットは？　
社会？ユーザー？

・人間中心の自動化
　　大規模装置産業：作業員の作業を減らし、自動化：技術中心の自動化
　　結局人間に頼る→やりにくいところだけのこる
　航空：人間中心の自動化が、９０年代にまとまる
　日本の自動車業界：やってきた　アドバンスドセーフティービークル
　　　８つの項目にまとめる

・たとえば
　レベル２；無理なく監視を続けることの出来る工夫
　　たとえば、運転操作に関する意思決定に関与する
　　　戦略的な「スムーズに移動する」判断への関与
　今後の展開
　　　ホースメタファ；
　　　　免許能力おちた・・・陰で支える

・社会的な課題：トロッコ問題
　　個人の利便性か、社会の効果か？
　　　自動運転で、新しい事故が起こる：社会として耐えることが出来るか？
　　　自動運転を導入していかないと、毎年４０００人の死者が出るとしたら？


Q&A
・日本：悪いケースも考える　あれもできる、これもできるといわない
・欧米：これもできる、あれもできるという(悪いケース言わない）

KafkaやFlink等の話を聞いてきた！

10月25日ビッグデータのリアルタイム処理技術勉強会に行ってきた！
ので内容をメモメモ


■ご挨拶など
・ホートンワークスの人、テコラスの人の会場説明
・Hadoop Summit　国際イベント

■ストリーム処理を支えるキューイングシステムの選び方
・自己紹介
・ストリーム処理
　バッチ処理じゃない
　ソーシャルネットワーク、センサー、メディア、
　　→終わりがないことを前提に、着たら処理する
　　　性格が変わる
・キューイングシステム
　ＦＩＦＯ
　ブローカー
・なぜキューイングシステムを使うのか
　システムの疎結合化→スケールアウト可能
　　　受けきる
　耐障害性
・比較対照キューイングシステム
　
・Kafka
　Linkedinが作った
　キューイングシステムの枠組みを超えた
　Zookeeper：分散前提
　ＨＡ：クラスタリング（フェイルオーバーでなく）

・ＡｃｔｉｖｅＭＱ
　メッセージエンタープライズバス
　ストレージ
　プロトコル豊富
　ＨＡ：フェイルオーバー

・ＲａｂｂｉｔＭＱ
　あーらんで書かれている
　ＡｃｔｉｖｅＭＱよりはやかったりする
　ＨＡ；フェイルオーバー
　はやいＡｃｔｉｖｅＭＱというかんじ
　ＰＩＶＯＴＡＬ

・ＮＡＴＳ
　ＧＯで書かれている
　ストリーム処理：ＮＡＴＳ　Ｓｔｒｅａming

・ＮＳＱ
　ＧＯで書かれている
　完結した環境

・Ｒｅｄｉｓ
　ＰｕｂＳｕｂを提供
　インメモリーキュー
　ｈａ：せんちねる

・ＺｅｒｏＭＱ
　ただのライブラリです
　内部通信で使われる
　ＨＡ：自分で何とかする

・Ｎａｎｏｍｓｇ
　ライブラリ
　こっちのほうが導入しやすい？
　ＡＰＩ：安定してきた

・アーキテクチャ
　ブローカー必須・永続化可
　　Ｋａｆｋａなど
　ブローカー不要・インメモリのみ
　　ＺｅｒｏＭＱ，ＮａｎｏＭＱ

　永続化のメリット
　Ｌａｍｂｄａ　アーキテクチャ
　バッチレイヤ

　メッセージのレプリケーション
　　レプリケーション可
　　　耐障害性、負荷分散

　　シャーディング
　　　スケールアウト
　　　シャーディングキーに注意

キューイングクライアント
　対応プロトコル
　標準
　　ＡｃｔｉｖｅＭｑ，ＲａｂｂｉｔＭＱ
　独自バイナリ

　独自テキスト

Ｇｏｏｇｌｅ（ＧＣＰ）
　kafkaに対応している　

メッセージの再取得
　可能
　　Ｋａｆｋａ
　　ＡｃｔｉｖｅＭＱ
　　ＮＡＴＳ

複数コンシューマーによる分散取得
　スケールアウト
　注意：集約関数の結果

・Apache FrinkとApache SparkについてはBahir

・Ｋａｆｋａ一強

・処理時間
　　ＡｃｔｉｖｅＭＱががんとあがる
　　Ｋａｆｋａはそれよりゆるやか。
　　あまり変化ないのは、ＮＳＱ

・キューイングシステム
kafka：ストリーム処理するらナ
ＡｃｔｉｖｅＭＱ：多様なプロトコルをサポートするなら
ＲａｂｂｉｔＭＱ：ＡｃｔｉｖｅＭＱより速い（小レイテンシー）
ＮＡＴＳ：レイテンシーくるか？
ＮＳＱ；
Ｒａｄｉｓ：インメモリＫＶＳ
ＺｅｒｏＭＱ：アーキテクチャを１から
Ｎａｎｏｍｓｇ：実績少ない

■ＩｏＴ時代におけるストリームデータ処理と急成長のＡｐａｃｈｅ　Ｆｒｉｎｋ
・自己紹介
・ビッグデータＸリアルタイム
　ＩｏＴでのデータの扱いの変化
　　新しいニーズへの対応：セキュリティ
　　データの即時活用：データレイク
　　全量分析によるＡＩの活用

２．ビッグデータ処理プラットフォームのパラダイム
　オープンソース
　　Ｈａｄｏｏｐ，Ｈｂａｓｅ
　　Ｓｔｏｒｍ　２０１１年公開
　　Ｓｐａｒｋ
　よりリアルタイム性

３．ビッグデータ処理の３つのたいぷ
　　バッチ
　　クエリ
　　ストリーム
・バッチ
　　実行時間：分～時間
　　Ｈａｄｏｏｐ，Ｓｐａｒｋ
　クエリー
　　えらすてぃっくさーち
　　いんぱら
　　どりる
　ストリーム
　　連続した処理

４．あらためてストリーム処理
　　・リアルタイムに
　求められる要素
　　低レイテンシー、高スループット
　　スケーラブル
　　フォルトトレラント
　ストリーム処理エンジン
　　メッセージ到達せいの保証
　　フロー制御
　　ウィンドウ処理
２つの方式
　イベントアットあタイム
　　イベント受けたら処理
　マイクロバッチ：ＣＥＰ的処理可能
　　　タイムベース
　　　　発生時間
　　　　処理時間
　　　カウントベース

メッセージ到達性保証
　Ａｔ　Ｍｏｓｔ　Ｏｎce
　ＡｔＬｅａｓｔ　Ｏｎｃｅ
いくざくとりー　わんす

バックプレッシャー
　受信側の処理能力を超える送信データ
　→ペースを制御：送信側に要求
　　リアクティブストリーミング

ウィンドウ処理
　たんぶリングウインドウ
　すらいでぃんぐういんどう

ストリーム処理データエンジン
・２０１４年以降　競争激化：Ａｐａｃｈｅプロジェクト
　現時点では３つ
　　ＳＴＯＲＭ，ＳｐａｒｋＳｔｒｅａｍｉｎｇ，Ｆｌｉｎｋ

・ＳＴＯＲＭ
　Ｔｗｉｔｔｅｒが公開
　耐障害性、分散型
　エコシステムを構築しやすい
　spout bolt

・ＳｐａｒｋＳｔｒｅａｍｉｎｇ
　インメモリ

・Ｆｌｉｎｋ
　バッチ、すとりーむ、機械学習も
　シンプル

・アーキテクチャ
検討ポイント
・大量データの収集方法
・ピークの対応、じかんのずれ
・集計方法
・データの欠損
・計算途中の一時データ
・運用
ストリームデータ処理
　キャッシュ
運用
　ストリーム処理エンジンの管理コンソールを活用
　ボトルネックを見るのにあんばり

本日のまとめ

■Ａｐａｃｈｅ　ＮｉＦｉ
・インキュベーターからトップレベルへ
・データのフローを管理するツール
・１．０からＵＩ変わった
・Ｋａｆｋａでバージョン違いのときとか
・Ｓ３におくとか
・ＮｉＦＩ：ないあがらふぁいるず
・マルチテナント
　ユーザー：クライアント証明書を使っている

※ＥＴＬ（タレントとか）
　躓くポイント：ＥＴＬツール　実行したら終わり
　ＮｉＦｉ常に起動して中から通る
　メッセージを流すといまくいく

※ラムダアーキテクチャ
　みにふぁい：ＩｏＴゲートウェイになる

Rで行う決定木とSVMの予測比較

Ｒで決定木を行う方法
http://blog.goo.ne.jp/xmldtp/e/7cbe95a2edade2eaa312764c8b9389ac

の続きメモ。決定木とSVMの比較。

データはＲに入っているirisを使っています。また

Rで行うSVM解析
http://bi.biopapyrus.net/machine-learning/svm/r-svm.html

を参考にしました

■Rのプログラム

#テストデータ
# http://bi.biopapyrus.net/machine-learning/svm/r-svm.html から引用
#
##          1          2          3          4          5 
##     setosa     setosa     setosa  virginica versicolor 
unknown <- data.frame(
             Sepal.Length = c(5.1, 5.2, 6.7, 4.5, 7.0),
             Sepal.Width = c(3.5, 3.3, 4.1, 3.1, 5.0),
             Petal.Length = c(1.1, 1.5, 2.1, 6.7, 4.1),
             Petal.Width = c(0.2, 0.1, 0.3, 1.2, 1.4)
           )


#SVM
library(e1071)
model <- svm(Species ~ ., data = iris )
predict(model, unknown, decision.values = TRUE)

#決定木
library(rpart)
model <- rpart(Species ~ .,data=iris,cp=0.01)
predict(model, unknown, decision.values = TRUE)

■結果

オラクルのクラウド戦略とNTTデータ、富士通の関係を聞いてきた！

今さっき（１０月２５日）Oracle Cloud Days Tokyo 2016の
基調講演（１日目）を聞いてきたのでメモメモ

---

■ごあいさつ
アンケート
　・昭和世代：ほとんど
　・平成世代：５人
　・コスト削減
　・お金儲け
　・給料を上げたい


・日本の給与
・日本の現状
　－２８．４万人
　７２歳まで働くとしたとき、どうなるか
　→ＩＴによる生産性向上が急務

・ＰＯＣＰ：オラクルのクラウド
　地方創生
　ビデオ
・Ｄｉｇｉｔａｌ　ＡＩＤ：オラクルクラウド
　地方創生の力
　　モバイル
　　ＩｏＴ
　　ソーシャル
　　ビッグデータ

・デジタルディスラプション→デジタルエイド（バンドエイドのエイド）
　　それがクラウド
　　大福ちょう→ＥＲＰ
　あいはばぺん　あいはばあっぷる　
　所有するＩＴから使用するＩＴになった

・動画：Ｏｒａｃｌｅ　ソーシャルクラウド
　　かんさいさん

・世界では
　　米国と日本の人口分布、都市密度
　　　　日本は東京と大阪
　　→デジタルデバイド・地域格差

・ＶＵＣＡ
　　Ｖ　変動性
　　Ｕ　不確実性
　　Ｃ　複雑性
　　Ａ

・事例：ＨＳＢＣ　　ＣＦＯがかたる
　ＥＲＰ　クラウド

・Ｗｈｙ　Ｏｒａｃｌｅ　なぜ、クラウド？
　Database
　　　８i　インターネット
　　１０Ｇ，１１Ｇ：グリッド
　　１２Ｃ：クラウド

　どのプラットフォーム上でも動作し、お客様の投資を保護
　コンピューター：アプリケーション
　　開発言語、ＳＱＬ

・クラウドファースト　１２ｃＲ２

・９９年、セールスフォース　オラクル　２０年前から
　０６年、ＡＷＳ　オラクル　２７年前から

　クラウドは数パーセント

・オラクルの確かな技術力
　日本のほぼ全ての社会インフラ
　ＪａｖａというＩｏＴに不可欠なもの

　１０００万：ヨーロッパ　Ｏｒａｃｌｅのコア数
　日本では４００万コアの上でオラクルのデータベースが動いている

　ＳａａＳ
　ＰａａＳ：ＳＦＤＣ
　ＩａａＳ：ＡＷＳ

・Ｏｒａｃｌｅ　ＩａａＳ　はやい
　戦略：１２ｃもクラウド、ＡＰＩ提供、ＳＤＮ　ＶＣＮ
　　ベアメタルも提供
　　チップからクラウドまで
　オンプレミス　クラウド at カスタマー　パブリッククラウド
　５つの道
　　データセンター→パブリッククライド　ほか４つ
　すっきりする
　　どうやって自動化するか
　クラウドにもっていくとき
　　保険かけてる？一方通行になっていない？
　アプライアンス
　高速演算から仮想移行（Ｒａｖｅｌｉｏ）
　ストレージ・オプションの選択

３つの開発メソッド
　オンプロミス
　パブリッククラウド
　クラウド　あと　カスタマー
５つのクラウドのいかん方法

・デジタルエイドを戦略的協業で加速
　ＮＴＴData、富士通

■ＮＴＴ　Ｄａｔａ
・ビジネス領域
　　大規模ミッションクリティカル
　　新たなビジネス価値の創造：ちょっとまえはすまっくとよばれた
　　　人工知能
　　　ブロックチェーン
　　　フィジカルとデジタル
　　　アンビエントコマース

・特性と課題
　　大規模ミッションクリティカル
　　　基幹系
　　　　速く作りたい：開発スピード
　　　　サイロ化
　　　→新たな価値をつくることが課題

　　新たなビジネス
　　　デジタル系
　　　　セキュリティリスク
　　　　運用制御リスク

　Oracle cloud Machine
　　　自社ＤＣにＨＷを設置、Oracle cloud Machineをインストール
　　　プラットフォームの管理はオラクルさん
　　　オンプレミスとやりとりできる
　→お客様がOracle cloud Machineをインストールしたいといっている：支援
　　３つのステップで事業を展開

■富士通　阪井氏
・クラウド提携
　発表後の戦略
　市場動向：２０１５　１．２兆円　２０２０年：３．６兆円
　　オンプレからクラウドへ
　移行５２％
　　社内：クラウド移行　１００くらい
　民需市場：パブリック、プライベート、ハイブリット　どれも３割くらい
　デジタルビジネス・プラットフォーム　ＭｅｔａＡｒｃ
　　ＳｏＥとＳｏＲをＡＰＩでつなぐ
　ＭｅｔａＡｒｃ
　　クラウドサービス
　　プライベートクラウド
　　プラットフォーム
　　マルチインテグレーション
　　パートナー：Ｏｒａｃｌｅ
　７月６日、オラクル社とクラウド協業を発表
　　データセンターに
　　　　ＭｅｔａＫ５とＯｒａｃｌｅＤａｔａｂａｓｅクラウドとＡＰＩ連携
　　　　Ｏｒａｃｌｅクラウド
　お客様のバリュー
　　データセキュリティ
　　ワンストップ
　ＯｒａｃｌｅのＨＣＭ　クラウドを全社的に採用
　　タレントマネジメントから
　　　２０１２から　人材・組織の見える化
　　　２０１４から　グローバルな人事基盤
　　　２０１６から　グローバルな人事システム

　お客様の反応
　　インパクトのある発表：３００件のお問い合わせ
　　取り扱い件数　年間６０００件
　今後の取り組み
　　Ｋ５のグローバル展開
　　　　日本での提供を皮切りに順次展開

■このあとの照会
・２０１６年１１月１８日　アメリカズカップ in 福岡

---

■Oracle cloud Strategy and vision for Journey to cloud
　 Oracle IaaSの全貌

・トランスフォーメーション
　６％　パブリッククラウドのワークロード
　→Ｏｒａｃｌｅで実行

・クラウドに求められるものとは
　他の会社は飛び石を提供、オラクルは長期的な道筋を低起用
　→プラットフォームと移行

　オラクルが提供するソリューション
　　プラットフォーム
　　全れいや全て網羅
　　妥協のないクラウド

　移行パスを整備

　クラウドへの移行を成功に導く
　　いかなる領域からも移行が可能

・テクノロジーの恩恵によりお客様とともに成長

・この信念

・社会とお客様のビジネスを支える有益なインフォメーション
　蓄積した技術は活用してこそ意味がある　ラリーエリソン
　　最優先のビジネスに注力

・Ｏｒａｃｌｅ　クラウド
　ＯｒａｃｌｅＳａａＳ
　　ビジネス価値を創造し、成功へ
　　　サプライチェーン、ＥＲＰ，ＥＰＭ，モダＨＲ，マーケ、セールス、サービス
　　エンゲージメントモデルのシフト：システムから人へ
　　adaptive Intelligence
　　ＨＣＭ

　　事例：ＰＡＮＤＲＡ

　Ｏｒａｃｌｅ　ＰａａＳ
　　変化に対応
　　　データ管理、アプリ開発、統合、アナリティクス、コンテント、ビッグデータ、自動化
　　　クラウドのツール群
　　　何が新しい
　　　　１２ｃＲ２、エクサデータＥｘｐｒｅｓｓ、チャットボット

　　事例：ＡＶＡＹＡ
　 　Ｏｒａｃｌｅ　ＩａａＳ
　　ネットワーク、コンピュート、ストレージ
　　　こんばーじど　いんふらすとらくちゃ　システムをベースに構築　
　　ベアメタル
　　Ｒａｖｅｌｌｏ
　　どっかーいどう

　　事例　ＴＩＰＰＥＴＴスタジオ

　Ｏｒａｃｌｅ　システム　インフラ
　　事例　T mobile

・全てのカテゴリでソリューション提供
　おのおのが存在する理由

・完備されておる
　　すべてのレイヤ、統合 　Ｏｐｅｎ
　　
　セキュリティ

　選択肢
　　ＡＷＳはクラウドに行くしか選択肢がない

・柔軟な配置の選択
　オンプレとパブリック間の移行
　完全に同じ

・競合他社
　ＡＷＳの神秘性を取り除く：
　　　不十分なクラウド
　　　ハイブリッド、オンプレミスの不在
　　　限定的なエンタープライズ機能
　　　高い価格とパフォーマンス
　Ａｚｕｒｅの神秘性を取り除く
　　　不十分なクラウド
　　　限定的なハイブリッド
　　　限定的なエンタープライズ
　　　高い価格とパフォーマンス

　事例：ファイザー、ＧａｍｅＳｔｏｐ　　　　　　
・インテグレーテッド　プラットフォーム

・Journey to cloud
　すべての出発点
　　同じお客様が同時並行で進む

・事例　ＦｅｄＥＸ
　　日立コンサルティング
　　ＤｒＰｅｐｐｅｒ：リーチをリターンへと変換
　　セブンイレブン：ロイヤリティプログラム
　　ＧＥ：ＩｏＴ　予測保全

・次に何が来る
　サポーティング　ユア　ジャーニー
　　共存

---

■ＧＥのクラウド戦略によるビジネストランスフォーメーション
　Becoming Digital Industrial

・ＧＥ：１３０年の歴史

・第四の産業革命
　つぎの産業革命は今・・・
　　産業革命　１７８０年で変える
　デジタルトランスフォーメーション
　　インダストリアル事業の生産性
　　　１９９１～２０１０年　生産性　４％
　　　２０１１～２０１５年　生産性　１％→１兆ドル
　　　　　コンシューマー　ＮＯＴ　インダストリアル
　　デジタルツイン技術の実現
　　　インダストリアルインターネット
　　　物理的なもの＋解析
・インダストリーが求めた最新ＯＳ
　　ＰＲＥＤＩＸ
　　産業向けに設計＋１００年以上にわたる業界専門知識＋ＩｏＴ事例のアプリ＆分析
　　　＝ＧＥの優位性
　　リアクティブ→プロアクティブな保守へ

・ＧＥの社内システム７０－７５％は２０２０年までにクラウド化
　最適事例としてのＧＥ
　　　　設計：生産性・コストのための設計
　　　　製造：プロセス最適化
　　　　サービス：コンディションベース
　　ＯＴとＩＴが一緒になった

・ＧＥ：デジタル・インダストリアル・カンパニー戦略
　　ＧＥ　ｆｏｒ　ＧＥ　生産性
　　ＧＥ　ｆｏｒ　カスタマー：アプリケーション
　　ＧＥ　ｆｏｒ　ワールド：プラットフォーム

・産業向けアプリの基本構成
　２つのキラーアプリ
　　アセットパフォーマンスマネジメント（ＡＰＭ））
　　　信頼性と有用性を最大化
　　デジタルスレッド（社内の生産性とシンプルかを推進）
　　　人とアセットとプロセスをつなぐ　
　デジタルインダストリアルは世界で進行中
　パートナーとのエコシステム
　　　ブランド力
　　　市場きかい
　ＧＥとオラクル　長期的なパートナーシップ

　ＧＥ　Ｄｉｇｉｔａｌ－ＥＲＰプロジェクト
　　完全に統合されたオラクルＥＲＰ　クラウドでビジネスデジタル化
　　　セキュリティ技術を統合
　　　現代的なアナリティクス
　　　スケーラビリティ

　なんらかのレンズをつかってみる：トランスフォーメーション

　Ｕｂａｒ，ＡｉｒＢ＆Ｂ：
　企業　資産がある
　変化、今起こっている
　今はスタートする時間

データドリブンな組織を実現するTableauについてきいてきた

10月24日

データサイエンティスト協会 勉強会2016 第3回

に行ってきた。その内容をメモメモ

---

■内田洋行さまの挨拶

■データドリブンな組織を実現するTableau
・会社紹介
　Tableauはお客様がデータを見て理解できるように支援します
　スタンフォード大の３人のメンバーから始まった
　日本においては３年半。導入会社数は２０００社を超えた
　終わることのない進化
　　ＶｉｚＱＬ：ドラッグ＆ドロップ→クエリ→可視化
　　ライブクエリエンジン：クエリ文を書かなくても
　　インメモリデータエンジン
　データの解放
　　より高速にシンプルに
　人に力を与える
　人の視点にたった設計
　今までとは違う企業

・製品３つ
　　Tableauデスクトップ：基本
　　Tableauサーバー：オンプレミス型
　　Tableauオンライン：クラウド型

・全体
　　データソース：５０いくつ
　　デスクトップ
　　タブローサーバー→ブラウザで見るなど

・タブローデスクトップのデモ
　　●　ならぶとわかりにくい
　　９　いろをつけるとわかりやすい
　→このように分かりやすく表現する
　クロス集計：データを見やすくする
　
　タブローの表現
　　グルーピングしてくれる

　Ｒ(外部サービス：RServer指定）と連携

　k-meansに対応クラスタごとに棒グラフで見ることも

・紹介
　データを使った意思決定の必要性
　　データを活用できた人たちのほうが
　セルフサービス型のデータ分析の効果
　　動的なほうが・・・
　　コンシューマー：データ分析はあまり行っていない
　オピニオンベースのデータ利用
　データドリブンの目標とする姿
　　ビジネスするため、差別化、普及
　Ｑｕｉｃｋ　Ｗｉｎ　一歩先をゴールに設定し、アクションを実施
　　データの仮説検証、データのＰＤＣＡ
　　　目先９０日
　　　全社展開へ拡大
　従来型のプロセスだと障害になりうる
　　　ウォーターフォール型→速さが求められるビジネス

・データドリブンな組織にもとめられる７つのポイント
　スピード＝ビジネスと同じスピードで意思決定を行う（セルフサービスＢＩ）
　視覚的なデータディスカバリ
　あらゆるデータに接続＝基幹システム、クラウド、ローカル
　リアルタイムコラボレーション　ワークブック
　総合的なガバナンス
　柔軟なスケーラビリテ
　モバイル：いつ、どこでもデータにアクセス

・一般的なデプロイメントステージ
　　すてっぷあっぷして大きく
　　上手くいかないと下がっていく

・将来的イメージ

・タブローのメリット

・デモンストレーション
　　タブローサーバー

・復習
　デスクトップで可視化から
　リーダーで共有・サーバー・オンラインで共有