「クラウドファースト時代のアーキテクチャ・システム構築の革新」を聞いてきた。後半

12月４日
Microsoft Architect Forum 2014 Winter
クラウドファースト時代のアーキテクチャ・システム構築の革新
にいってきた。

その内容の後半をメモメモ

---

■次世代ITアーキテクトの本質と育成
～ビジネスの俊敏性を目指して～

　俯瞰的に見る

自己紹介

　ITアーキテクト＝アート＋サイエンス

ITソリューションの動向と潮流
・重要な視点
　　複雑化・多様化
　　インターネット
　　クラウド化
　→５０～６０年前の電力業界：電気は買うもの
　　この流れは止まらない

　IT資産を持つ時代から持たない時代へ
　テクノロジー変化を理解し活用する
　情報資産のさらなる活用

日本のSIマーケットを眺めると
　複数年で再編成：動かしながら

ビジネスをどうするか？が焦点に
　インターネットの普及により様々な壁がなくなっている

・どのようなスキルを磨き成長するか
　・初動の設計力
　・リーダーシップ、イノベーション：廃棄する、カイゼンするのも
　・人間力も重要

・マーケットは誰を必要とするか
　・ビジネスアーキテクト（アナリストではない）
　・ITアーキテクト

・ガートナー
　・エンタープライズアーキテクト

次世代のIT組織
　EAの本質
　　企業全体で整合性を確保しながら変化を実現できるメカニズムを提供する

　戦略視点でIT組織を見る
　　言葉と概念の統一：グローバルで

　ビジネスとITの発想と視点の違い

　情報システムはビジネスの一部
　　TOGAF　EA

　ITアーキテクチャの目的

　変革プログラムの成功要因
　　EA、ガバナンス、PMO,ITSMの統合
　　企業戦略
　　EA
　　ガバナンス、PMO,ITSM
　
　FTSNに基づいたITテクチャの展望
　　　F：フレームワーク（TOGAF)
　　　T：テクノロジ
　　　S:スキル
　　　N:記述

　IT組織は大きく役割を変える
　　EAの導入
　　ITの創造

次世代のITアーキテクトの役割と重要性

　１９８０　SE、プログラマ
　１９９０　PM,SE,プログラマ
　２０００　ITスペシャリスト、コンサル
　２０１０　ITアーキテクト

　IASA（あいさ）におけるITアーキテクトの定義
　　テクノロジストラテジすと
　
　専門領域
　　ビジネス
　　インフォメーション
　　ソフトウェア
　　インフラ
　基礎知識
　　デザイン
　　ヒューマンダイナミクス
　　品質特性
　　IT環境
　　ビジネステクノロジ

　ソリューションアーキテクトの仕事
　　MDM
　　クラウド
　　M&A
　　ERPそのた

　ITアーキテクトとビジネスアナリスト

どのようにITアーキテクトを育成するか

　プロフェッショナルとは

　技術力＋リーダーシップ
　　リーダーシップとマネジメント構造

　ITアーキテクトに必要な知識体系
　　IASA　ITABOK(あいたぼっく）
　　　５つの柱
　　　IEEE1471

ITアーキテクトの
　IASA
　・７００００会員
　せきにん
　・言葉と概念の統一
　・仕事の認知
　・ネットワークこうちく
　CITA：認定資格

事例
　・ITアーキテクトの基礎力養成

---

■非インフラ技術者のためのインフラアーキテクチャ設計の考え方
・オンプレミスの自動化
　　クラウド視点から見たインフラ
　　　L7～L4
　　オンプレ視点から見たインフラ
　　　L3以下
　４２Uに４８ポート入れる
　
　タグ番号とマシン名を一緒にする→こわれたら、タグ番号
　IPアドレスもマシン番号にしてしまう

・インフラアーキテクトは必要か？
　→必要です（名前は自由）
　　→ただし、CTOとは違う→CFO,監査とのやり取りがある
　→不要です
　　他の人がやっている場合

・どういう仕事ですか？
　最適な仕組みを提供する→最新、最強を知った上で
　　例：ATMのパスワード　数字４桁

・企業組織内におけるインフラ業務
　　インフラアーキテクト関連図
　　投資　例　どういう風にお金動く
　　（速く言われたので、めもとれなかった）

・アプリケーションとインフラの多くはn対１の関係
・費用計上方法も知る必要がある
　　→上場企業だと公表されているが
・インフラは減点方式
・Opsの中のインパクト

主なテクノロジーの移り変わり
　インフラ編
・インフラテクノロジーの移り変わり
　・勉強会とかでキャッチアップ
　・オンプレミスから仮想化、そしてクラウドへ
　　昔：メモリ、シャーディング→ハード売れた
　　すこし前：仮想化管理（SystemCenter)
　　さらに：プライベートクラウド→ハイパーバイザー重要Hyper-V
　　クラウドへ：Azure,Amazon,Google,国内
　　　国内：土地が開いてるところ
　　　Amazon,Google：自社のサービス

　　クラウドに対するリスク
　　　クラウドも止まる
　　　クラウドが経理にあうのか？
　　　退職者

　→結局売れなくなってきちゃったんですよ。

・インフラチーム
　　同じような業務回っている
　　→キャリアを変える

・強固な組織にするためのインフラ
　　UPDATEでDELETEフラグ、
　　このSQLは悪です
　１億PVでも２０～３０台→数百台になるとしたら・・・
　　同業他社とのつながり
・インフラチームの秘めた駆動力
　　正常以外
　　新規リリース画面

・インフラチームの円滑運用
　　インフラのキーマンが誰か分かっていると強い！

---

■IoTが拓く新たなクラウドソリューションの展望と設計アプローチ

IoTとは
・よくわかんないですね
・設備機器がITにつながる

IoTがもたらす市場インパクト
・トレンドが分かる
・接続機能が充実
　　１００万、１千万が数万円、ただでできるように！

IoT
・見える化・・・だけなら価値はないかな
　　電気の見える化と同じ？

IoT＝（Things+IT)XDATA

M2Mの拡張としてのIoT
・M2M：組み込みメイン
・予断から、発見・気づきへ
　　　事前にあたりをつける→発見

IoTの活用
　→活用・運用ライフサイクル
　→製品開発サイクル→DevOps

Internet of Your Things
・既存の資産からはじまる：スモールスタート
・既存デバイスに新規デバイスを追加
・既存の生成されるデータから

何でクラウドなの

４ヶ月でIoT、そんなスピード感

Windowsエンベデット　POS,カーナビ
サービス
　Linuxその他Azuruつながる
　iPhone,Android→VS2015

IoTの構成要素

　デバイス　サービス　クライアント

　　　　開発・運用・管理　データ活用

・デバイスとクライアントが直接なんて事もある
・IOTアーキテクチャ概観・詳細
　　（めもとれん・・・）

・エージェントSDK　Azuruにすぐつなげる
・Azure　Intelligent System Service（ISS)

IoTエコシステムとAzureサービス

ISS　デモ
・London Underground Manager

デバイスクラウド連携
　　・内部連携
　　・ゲートウェイ
　　・直接接続

多様な組み込みプラットフォーム
　　HTTP:REST，AMQP,MQTT
　　　→テレメトリ、コマンド、ノーティフィケーション、プッシュ
　→ブローカー、
　　標準プロトコル
　　セキュリティ→データ暗号化
　　コストバランス

IoTにおける接続
・たくさん使うとレイテンシ
　→クラウド

Event Hub
　　・パーティションが作れる
　　・送受信ポリシー
　　・https,
　　・１G/S
　　・各パーティションにコンシューマーグループ

（デモ：ことごとく失敗）

関連サービスとの連携・活用
　　EventHub
　　　機械学習
　　　モバイル
　　　Excel/PowerBI

Call to Action
　　http://aka.ms/IoTKitHol
　に学習コンテンツ

「クラウドファースト時代のアーキテクチャ・システム構築の革新」前半

12月４日
Microsoft Architect Forum 2014 Winter
クラウドファースト時代のアーキテクチャ・システム構築の革新
にいってきた。

その内容の前半をメモメモ

---

■Opening　ご挨拶
・高い品質
・技術革新の波
→いままでのIT構築ではうまくいかない
・アジャイルへの開発移行
　ALM　さむぐっけんはいまーさん

■キーノート
　Our Journy to Cloud Cadence
・マイクロソフトの仕事の共有→どういうような仕事をしたか
・マイクロソフトに入社したとき
　IBMに３週間
　リクアイヤメント＝あつい資料M1,M2,M3（マイルストーン）
　やり直してる？→そうだった！
・ウォーターフォール→遅れていた
　１０年間サービスしないといけない
　たくさんの無駄　おおのたいち：７つの無駄→すべてあった
　その結果：
　　一貫性のない作業
　　予測不可能
　　むら
　→ストレス、やる気のなさ：デスマーチ

・技術的債務
　　いくつバグを抱えているか
　　０バグにする
　プロダクトユニット→処方箋
　　日付をあとにもっていく
　　バグ：フラット
　β版→不信感

・アジャイル
　２００６年
　・クリーンを維持する：技術債務をやっつける
　　　あいまいな状態をやめる
　　　新しい負債を防ぐ
　　　ユニットテスト、コードのテスト
　・プロダクトバックログをつくる
　　　１つにまとめ、みんなに見られるように
　・終了の定義
　　　ユニットテスト、静的テスト、ローカリゼーション・・・
　・スプリントモデルにした：カスタマープレビュー

・結果
　スケジュールモデル
　　お客さんからこめんときた
　　サブスクリプション、長期化
　　ユーザーストーリー、バックログ

・一番重要な点
　　３万のバグ→２千に（１５分の１）
　　予測性たかまった。
　　顧客満足高まった
　→無駄の削減、透明性

・アジャイル
　　プロダクトバックログ
　何をすべきか
　　価値のフローのカイゼン
　　世界中（８～１０か国）からお客さんよび会合SDR
　　　→オンライン参加
　　アイデア
　　ヒートマップの可視化
　　　バリュープロポジション
　　　　　１．重要？
　　　　　２．どれだけ満足
　　　　　３．正しい方向に向かっているか
　　　→重要なのに話し合っていないところを話し合う
　　価値にフォーカス→賞も取れた

・From Agile to Cloud Cadence
　なぜCloudのけいだんす？
　　３週間のスプリント
　反応を迅速にできる
　　→フローとデリバリーを迅速に
　　→DevOps
　全体として、ひとつのライフサイクル
　リリースパイプライン
　クラウドファーストでサービス

　利用のカルチャ
　　振る舞いを観察できる→決定

　フィーチャークルーズ（スクラムの改良版）
　　→１２～１８ヶ月一緒に仕事する
　　　作業を動かす（人を動かすのではない）
　　チームルーム

　スケジュール
　　３週間のスプリント
　　１８ヶ月のビジョン
　　６ヶ月のシーズン：具体的コミットメント
　　３スプリント：リードがあつまり、Chat
　→スプリントのおわりにビデオ：アップデート内容

　デプロイ→完全な自動デプロイ、日中でも作業
　　canary deployment：１つの箇所でデプロイ→別のデータセンタで

　フィーチャーフラッグ
　　昔（２年前くらい）ブランチ→マージ：債務
　　今：フィーチャーフラッグ→近しい人だけ見れる

　アップデート

　複数のデータセンター

　LiveSiteカルチャー
　　グローバル・レスポンス・チーム
　　on call DRI(designated responsible individual)by area
　　サイトの健全性→だれでも見れる

　ビジネス上のサクセス
　　お客様からきいていく
　　着実に改善→かなりや

　いろいろ実験：悪いと思ったものが、いいときも
　ダッシュボードモックアップ→はかる

　ファーストパーティー＝サードパーティ

７つの局面
・３つは通常のアジャイル
　　チーム
　　技術債務
　　フローの価値

・新しい
　　仮説をもちいたばっくろぐ
　　データ
　　プロダクションファースト
　　Public/hybrid cloud

---

■開発ツールを使ったエンタープライズアジャイル

Visual StudioのDevOps
・開発基盤　Team Foundation Server
　単体テスト、自動UIテスト
　InteliTrace
　コードクローン／コードメトリクス
　フィードバック
　　　：
　→ミッシングリンクがない

OurVision
　あらゆるアプリケーションが
　すべてのデベロッパーへ

アプリケーション
　・Windowsだけでなく、Mac,Androidも
　→できる

　・開発系イベントConnect();での発表
http://aka.ms/connect

（１）.net Coreのオープンソース化
　　　　→Linux,Macでもうごく
　　　クロスプラットフォーム開発の強化
　
（２）Visual Studio 2015プレビュー
　　上記具現化。もう試せる

（３）.NET 2015 Preview発表

（４）Visual Studio Community 2013
　　無償
　　個人・オープンソース開発者

（５）Visual Studio 2013 Update4リリース

（６）MSDNサブスクリプションの特典強化

・モバイルアプリ、
　　ASP.NET5　：新しいASP.NETランタイム、ライブラリ
　　　　　　　　メモリ使用少ない、Linux,Macも動く
　　.Net Core5：新しい.NET
　　Roslyn:（ろずりん）オープンソース化した新しいコンパイラ
　　C++　　　　:最新規格にアップデート
　　IDE　　　　：リファクタリング、タッチ対応

Monoテクノロジーにより、Mac上で、SublimeTextを使ってC#で
いんてりせんすをつかって、ASP.NETで開発
　　Macで
　　C#
　　ASP.NETで開発

クロスプラットフォーム
　Xamarin
　Cordova：HTML/Javascriptだったら

Apache　Cordovaが、VisualStudioで動き、Androidのエミュレーターが動く
この先にIoT,ゲーム、ソーシャル

エンタープライズアジャイルへの適応
課題
・事業戦略と開発の方向性の一致
・アジャイル開発には大人数の開発には不向き
・組織全体の役割の明確化

アジャイルのエンタープライズ対応
　スケールアジャイルフレームワーク
　エピックとフィーチャーを結びつける
　　　ポートフォリオ　エピック
　　　プログラム　　　フィーチャー
　　　チーム　　　　　ユーザーストーリー

チームファンデーションサーバー
　・エピックとフィーチャーに結びつける
　　エピックレベル→かんばんで

MS：会社全体でアジャイル

Visual StudioでのALM（＆Azuru)
・VisualStudioOnline（Team Foundation Server)でそろっている
　　→リリースはオンプレミス、Azure
　　→アプリケーションInsight

成功事例
・日本郵政スタッフ：開発環境３日、ハードコスト１０分の１
　ビービーシステム：変更～リリース：２ヶ月→２・３日、自動UI工数３０％
　ソフトバンクテクノロジー：デプロイ(release Management)工数約２０分の１
→予防診断テストにも、自動UIテスト

Visual Studio+Azure+MSDNで開発をリード

Team Foundation Serverはエンタープライズアジャイルを実践可能
Visual Studioの適用範囲は広がり、単一ツールでエンドツーエンドの開発が可能

機械学習や統計モデルなどで、要素数（項目）を絞る方法をまとめてみる

昨日のマルゼミの最後の質問「機械学習などで、項目数を絞るには」
の答えに対して、試行錯誤とかいっていたけど、項目（要素数）を絞る方法は、だいたい以下のようにある気がするので、ちょっと書いてみる。

---

■そもそも論

　相関が高い項目は、減らせるかもしれない。
　（へらすべき。まるちこになる）
　

---

■「観測した変数」だけで、予測等を行う場合

●ある値（連続値）の予測の場合

　この場合、回帰系（数量化１類含む）だと思うけど、その場合、数値がきいているかどうかは、変数を減らしたり増やしたりして＊、いろいろなモデルを作成し、モデルごとのAICないしはBICを計算して選ぶ(AICが一番小さいものを選ぶ）。

＊変数を減らしたり増やしたりして：
　山中先生のIPS細胞を見つけたときのように２通りあり
　　１個ずつ要因を足していく方法（山中先生提案）
　　全部いりをつくり、そこから１個ずつ引いていく方法（実験担当高橋先生提案）
　の２とおりがある。

　Rでは、stepという関数を使うと、自動的にやってくれる。
　くわしくは、

AICを使って回帰モデル選択[R]
http://anchoret.seesaa.net/article/82079973.html

とかにあるみたい。

ただし、STEPよくないという人もいる。

モデル選択_理論編
http://logics-of-blue.com/%E3%83%A2%E3%83%87%E3%83%AB%E9%81%B8%E6%8A%9E_%E7%90%86%E8%AB%96%E7%B7%A8/

---

●判別（２値、YES／NO）を決定、予測したいとき

　SVMを使ってしまうと（特にカーネルトリック）、よくわからない。

　決定木(CARTなど）を使うと、決定木を出せる。
　この木をみると、どの変数を使って判断しているか分かるので、
　その判断に関わっていない変数は、いらないとわかる。
　→実は、決定木をみれば、プログラミングできる。

---

■観測した値を元に、内部的な「要因を出して」判断する場合

●（探索的）因子分析＝ふつうの因子分析を行う

これで、因子が出てきたら、因子得点を元に、
判別や回帰を行う。

→これでうまくいけば、因子負荷量をみて、同じ動きをするものは、
　外せるかもしれない
　　→ただし、そいつらはもともと、相関高いはず！

→理論上は、頻度に変換してコレポン（数量化３類）を行い、
　近くにあれば・・・などもあるが
　　→ただし、そいつらはもともと、相関高いはず！

---

■そんなんじゃないんです。ぜんぜん、なにも出てこなくて・・ですね、
　変数を増やしたり、減らしたりしたら、なんか出てくるんじゃないかと思って・・
　ここで、なんか出てこないと、明日発表できず、単位がもらえないんですう（；＿；）
　というあなたへ・・

　だめもとで、主成分分析して、第一主成分だけでがんばる。
　なにか、それらしい数字に見えない？

　主成分分析を行うと、第一主成分は～っぽいという特性が出ることが多い
　たとえば、弁護士に関する調査を行うと、弁護士っぽい特性、
　病気の人の調査だと、病気っぽい特性

　という、調べたいものが第一主成分になることが多い
　なんで、なんか出てきたような「気に」なりやすい
　→あくまでもだめもと。

　なお、これを多次元尺度構成法（MDS)にしてしまうと、本気で、
わけわかんない（＾＿＾；）ってことになるかもしれないです・・・
（いや、きれいに出ることもあるんだけどね・・・）

---

な、かんじかな。最後の主成分分析は、かんけいない（おまけ）

機械学習の話を聞いてきた－マルゼミ

１２月４日

マルゼミ第四回「エンタープライズと機械学習技術」

に行ってきた！ので、その内容をメモメモ

---

・会場のご案内
　喫煙
　にゅうかんしょう
　おのみもの
　２０時エレベーターホールには入れない

■AzuruMLでの機械学習
機械学習
・数値予測とカテゴリー分類しかできない
・SVMと決定木
→試行錯誤：実験
　四号錯誤が簡単でできる

Azuru ML Studio
・試験管：実験
・ネット：デプロイできる

クレジットカードの与信システム
→与信の可否を含んだデータをたくさん
→機械が最後に判断
→審査項目：２０項目→機械学習向いている

AzuruMLの基本的な構成
　　１．アルゴリズム選択
　　２．訓練用データで訓練
　　３．モデルをデータで動かす
→実験といっている：ヒューリスティック

Google Prediction API
・アルゴリズム選べない

サンプル：クレジットの予測
・２つのアルゴリズムと２つの訓練用データ

（１）MLWorkspace作成
（２）データ取ってくる
　http://archive.ics.uci.edu/ml/datasets/Statlog+(German・・・（かけきれんかった）
　→Excelの世界に親和性
　　　おちたやつ：重視→５倍にするものと、そうでないもの
（３）新しい実験を作成
（４）データを準備する
　　カラムに名前ついていない→カラムに名前
　　訓練用とテスト用のデータの生成
　　Split
（５）アルゴリズム
　　　Boosted Decision Tree
　　　SVM
　　モデル選択
　　　SVMのときは正規化
（６）実行する
　　　→うまくいかんかった

いろんな結果出る

（７）いったんセーブ、Trained　Modelに渡してWebサービス公開？
　　もとのをのこす・・・よくわかってない

（８）パブリッシュ→ステージング
　　Config

どんどん動かすのが吉

---

■インターネットを入力とする機械学習
アジェンダ
　　１．自己紹介
　　２．価格戦争２００６の舞台裏
　　３．機械学習によるすく例ピン具の自動化
　　４．スクレイピングの自動化の発展


・１．自己紹介

・２．価格戦争２００６の舞台裏
　２００６年の価格競争→３０分、１時間に５円、１０円下がる
　７分に１度変える→不正の検知
　７００商品X２０店舗
　→価格予測
　　　短いスパン
　　　長いスパン：仕入れ
　OLS→FFT
　　OLSの予測：はずれる→価格が上がることがある
　　フーリエ変換を使う
　FFT：後継機種との紐付けができていること

・３．機械学習によるスクレイピングの自動化
価格のクローリングに関して
１．様々なEコマースサイトからの情報
２．店舗の数だけスクレイピング

なぜわかるのか
１．文字の大きさ
２．必要な項目の地下さ
３．文字の色の違い
４．周辺にある言葉

HTMLの解析は２段階
・ざっくり抜き出す
・項目

ざっくり抜き出す
１．まず１つの単語から開始
２．周辺の単語を学習
３．単語を本にタグをスコアリング
４．スコアリング→あるところだけタグがもりあがる
→１５回くらい繰り返す

ざっくり抜き出せる

項目抽出
・ベイジアンネットワークを使って学習
　　→精度でなかった
・遺伝的アルゴリズムを組み合わせる
→ただの機械学習の組み合わせで国際特許

４．スクレイピングの自動化の発展
　・求人情報から会社情報抜き出し
　・給与の差を見る
　・ペルソナ作る
　などなど・・・

→データ取得する段階に利用

---

■機械学習の身近な利用例　MS　北川さん

Azuruのサービス：機械学習

・MLスタジオ
・機械学習の可能性

いかにパターンを見つけるのか

機械学習で何ができますか？
→さわって、つかってみて

　こういう前提でデータもたないと・・・

自動車
・CANデバイス→リアルタイム収集
　→予兆保全

IoTとは
・記録、判断→膨大
　→デバイスからのデータなら

既存のものからデータ収集
・ふぃっとびっと　API

機械学習　Azuru Machine Learning
・連続値だけでは学習しにくい
・連続値→クラスわけ→事象

IoT　Kit
　がじぇっターでつなぎ方をおしえてくれる
　プログラム書く
　デモ・・・一瞬だめかと思ったけど・・どうにか障害
　→クラウドだから


netsharp

要素をどう決めるか
・思いつきを
センサーデバイス
・スマートフォンに送ってくれるデバイス

Q&A
Q:項目をどう決める
A:試行錯誤

---

いや、機械学習をする要素を決める決め方は・・・

・・・長くなりそうだ。別エントリで・・・