仮説検証は古い。今は「問い」が大事－西内 啓 氏（「統計学が最強の学問である」の）

cloud days tokyo 2014にいってきた話の続き

【出版記念講演】1億人のための統計解析
～エクセルを最強の武器にする～
西内 啓 氏

を、途中から聞いてきた。その話をメモメモ
（ちなみに、西内氏は、思ったより若かった・・・）

---

Research Design
リサーチデザイン

【ありがちな話】
わが社のデータを分析したい
　→あなたの仮説を教えてください
：よいやり方ではない

【仮説思考の限界】
・昔は正しかった
・膨大なデータ→たった１個の変数を注目するのはもったいない
・YESかNoに頭が反応→やっぱりね！はうれしくない
・かつてはそれが正しかった→むかしはデータを取るのが大変だった

【仮説でなく「問い」】
・リサーチクエスチョン
・どうすればもっと儲かるのか？
　→具体化すると
　「解析単位」の「アウトカム」に影響しそうなものには、
　　どんな「説明変数」があるのか

【アウトカム】
・望ましさを具体的に定義

【解析単位】
・望ましさを比べる単位

【説明変数】
・望ましさを存在しうる特徴

分析方針⇒比較軸

●アウトカムの定石
ゴールから逆算して立てる

●解析単位の定石
　WHO,WHAT,WHEN,WHERE,HOW

●説明変数の定石
　解析単位の特徴を可能な限りデータを定義してください
　・コーザル情報、購買履歴
　・すべての説明変数を多変量解析へ

【分析結果からアクションへ】
・その１
　　動かせないアウトカム
　　動かし得る説明変数→相手を動かす

・その２
　　動かせないアウトカム
　　動かせない説明変数→ねらいをずらす

・その３
　　動かせないアウトカム
　　動かせない説明変数
　　制御下である
　　　最適化→説明変数
　（例：仕入れ数→在庫ロス）

【今自分が行っていること】
・リサーチデザイン
　　・（経営者）分析リテラシー
　　・（情シス）SQL・R
　　・（その他の人）Excel←ここの本

【まとめ】
・科学の型を利用しよう
・仮説ではなくオープンな問いを
・データとサイエンスが当たり前の国へ
　　→データサイエンティストがタイピストと同じくらい

---

いちばんはじめの、「Research Design」は、本の紹介だったんだけど、
ちょうどそのところから入ったので、どの本をさしているのか
はっきりしなかった。ごめん・・・

急に「かな漢」が、まったく漢字変換しなくなった！！（Windows7で）

こんなかんじ

変換しない・・・
え、どうしたの・・・（＞＿＜！）
「辞書／学習」をみたら・・・

辞書がな～い（＠＿＠！）
IME辞書が消えた・・・。
にあるように、（丸で囲んだ）「修復」をとりあえずやってみて、再起動したけど・・・
だめ、変換しない・・・

え～・・・なにした？このまえまでちゃんと動いてたぞ・・・
そのあとやったことは・・・

　　　　ああああああ！！わかったああああ！

新人（といっても、もうほぼ１年たつが）に、
Officeいれてもらったんだった・・・
ってことは、かな漢が、OfficeIMEになっていて、
それが、おかしくなってるのかあ・・・

MS-IMEに戻しましょう！

ここ

既定の日本語入力システムを Office IME から Microsoft IME に切り替える方法
http://support.microsoft.com/kb/932104/JA

つまり、IMEの設定

から

全般タブ、「追加」というボタンをクリックすると、右側の画面が出るので、
MS-IMEにチェックをいれて

丸で囲んだところを、MS-IMEにして適用・OKしたら再起動
・・・すると

うん！ちゃんと変換できる・・・

めでたしめでたし（＾＾）ｖ

Hadoopを直接Windowsにインストールできるようになったらしい

＜検索でこのサイトに来た人に＞-----------------------

表題の件、このエントリの一番最後を見てください。
詳しく方法を書いてあるサイト（ただし英語）が書いてあります。
表題の件に関しては、以下の文は、ほとんど参考にはなりません

---------------------------＜以下、本文＞-------

3月1日、OSC 2014 Tokyo/Springにいってきて

Apache Hadoopの現状、これから

を聞いてきた。その内容をメモメモ

---

Hadoopユーザー会
・Hadoopユーザーの集い場
　　http://hugip.org/index.php
・不定期ですが、イベント
・ユーザーカンファレンスも

■おさらいHadoopとは
・課題
　日々増え続けるデータをたくわえ続けたい
　蓄えたデータを速やかに処理したい
　バッチ処理をできるだけ早く処理したい
　　処理データ規模は問わない

特徴
・Ｈａｄｏｏｐの特徴
　複数のサーバで構成する分散ファイルシステムを提供
　複数のサーバで分散ファイル

・分散ファイルシステム上のリソースを活用して
　分散処理を実現、数十分～数時間の処理を数分～数十分に短縮
　ＣＰＵの並列処理

・Ｈａｄｏｏｐを動作させるサーバーは容易に入手できるサーバー
　を利用、リソース不足の場合は容易に追加可能
　サーバー

Google MpReduce MapReduceフレームワーク
　　処理異常時は移動箇所のみ再試行
Google File System HDFS分散ファイルシステム
　　サーバーが故障してもコピーを持っているため欠損しない

主な利用用途：集計、抽出、加工、分析

Ｈａｄｏｏｐ
　ブロックで分割
　ブロックをデータノードで保存、３つのレプリケーション
　Ｍａｐ処理、Ｒｅｄｕｃｅ処理
　データローカリティを意識した処理の割り当て

Ｈａｄｏｏｐエコシステム
　　ＭａｐＲｅｄｕｃｅフレームワーク
　　　　Hive,Pig,Mahout
　　ＨＤＦＳ分散ファイルシステム
　　　　HBase,Impala,Spark,Sqoop,Flume

■Ｈａｄｏｏｐ最新動向
・Ｈａｄｏｏｐ１系とＨａｄｏｏｐ２系の違い

　Ｈａｄｏｏｐ１系のＭａｐＲｅｄｕｃｅの問題
　　ＪｏｂＴｒａｃｋｅｒへの負荷集中
　　　　多数のリクエストを処理するため、ネックとなりやすい
　　　→３０００から４０００で頭打ち？スケールしなくなる
　　ＴａｓｋＴｒａｃｋｅｒでリソースを予約して動作
　　　　Ｍａｐスロット、Ｒｅｄｕｃｅスロット
　　　スロット数は固定であるため目、リソースを十分活用できない
　　　Ｍａｐ関数Ｒｅｄｕｃｅ関数内で強引に処理を定義
　　　Ｇｉｒａｐｈ，Ｏｏｚｉｅ
→YARNという新たな枠組み
　　JobTrackerのリソース管理とジョブ管理を分離
　　　　ResourceManager：リソース管理
　　　　　スレーブノード管理
　　　　Application Master:アプリケーション

ＹＡＲＮを構成するノード
　　コンテナ単位でジョブアサイン

ＹＡＲＮの特徴
・スレーブノードのリソースを十分に利用する仕組み
・ＭａｐＲｅｄｕｃｅ１．０ＡＰＩとの互換性
　Hadoop1.0系のＭａｐＲｅｄｕｃｅアプリケーションも実行可能
　　　さいびるどで（将来的にはさいビルドもなくなる）
・さまざまなＡｐｐｌｉｃａｔｉｏｎＭａｓｔｅｒが動作可能
　　spark,Storm,Tez HOYA

・いくつかの機能は現在も開発中
　　ＹＡＲＮ　ＨＡ
　　さまざまなアプリケーションをＹＡＲＮで動作させるためのしくみ

ＨＤＦＳ２
・ＮａｍｅＮｏｄｅＨＡ長年の問題が解決
・ＨＤＦＳ　Ｓｎａｐｓｈｏｔ　オペミスからの復旧が容易に
・ＨＤＦＳインメモリキャッシュ
・ＨＤＦＳ　フェデレーション：ＮａｍｅＮｏｄｅ分割
・ロック機構の改善
・ヘテロなすトレー時を利用可能
　　メモリ、ＳＳＤなどを組み合わせて、利用可能に
・いよいよ問題なく利用できる状態に！

そのほかのポイント
・Ｊａｖａ７対応
・Windows上でのＨａｄｏｏｐ環境
・ログ周りのカイゼン
　　auditログ
　　メッセージレベルの見直し
　　無駄なstacktrace出力の抑制

ＨＤＦＳに蓄えたデータの活用
・ＨＤＦＳ上のデータをＭａｐＲｅｄｕｃｅ以外で活用する仕組み
　　　・Ａｐａｃｈｅ　Ｓｐａｒｋ
　　　　　　インメモリ
　　　・Ｃｌｏｕｄｅｒａ　Ｉｍｐａｒａ
　　　　　　低レイテンシ
　　　・Ｐｒｅｓｔｏ
　　　　　　分散ＳＱＬエンジン

Ａｐａｃｈｅ　Ｓｐａｒｋ
・インメモリによりＭａｐＲｅｄｕｃｅ処理
・ＨａｄｏｏｐＭａｐＲｅｄｕｃｅの弱点を補う
　　繰り返し処理（イテレーション）
・ＨＤＦＳとの親和性
・高級言語（Scala,Java,Pyton）で処理を定義

Ａｐａｃｈｅ　Ｓｐａｒｋ構成要素
　　　Shark(HiveQL)
　　　spark streamingストリーミング
　　　MLib機械学習

■デモ
π計算
sparkとhadoop連携
　sparkはsparkシェルから実行

■リリース予定
２系２．３がカレント、２．４開発中
　　HA,HDFStrace

１系・・１．３は幻？

Ｈａｄｏｏｐ２系
　ＨＤＦＳ必要な仕組みは一通り
　ＹＡＲＮ：ＭａｐＲｅｄｕｃｅのみならそれなりに

エコシステムの膨張
　　ＨＤＦＳに蓄えたデータを扱う仕組み　
　　ＭａｐＲｅｄｕｃｅの弱点を補うしくみ

データを蓄えること大切

---

Windows上のＨａｄｏｏｐ環境とは、
Hadoopの２系から、Windows直接（Cygwinを入れずに）で
Hadoopが動かせるというものらしい・・・

・・・調べてみましょう！

ここですね！

Build and Install Hadoop 2.2 or newer on Windows
http://wiki.apache.org/hadoop/Hadoop2OnWindows

う、ＸＰではだめみたい・・・Windows７のパソコンで、
こんどやるため、ＵＲＬだけ、メモメモ

Ｐ．Ｓ　Ｍａｖｅｎいる？Windows上で・・・

maven2 (2.2.1) インストール手順 (Windows)
http://oscasierra.net/2011/10/install_maven2-2-1/

Java9ではＨＳＡ（ＣＰＵとＧＰＵ連携）で、ＧＰＵアクセラレーションが容易になるらしい

Java9ではＨＳＡ（ＣＰＵとＧＰＵ連携）で、ＧＰＵアクセラレーションが容易になるらしい

２月２８日、OSC 2014 Tokyo/Springにいってきて

新OPTERONプロセッサーによる
クラウド製品戦略と今後
AMD　林さん

を聞いてきた。その内容をメモメモ

---

AMDの最新状況
クラウド時代に向けた製品ロードマップ
ソフトウェア・エコシステムとHSA
　　：

AMDは
「最新のマイクロプロセッサーとグラフックス技術を提供する業界のリーダー」
X86　AMDとインテル
グラフィックス　AMDとえぬびでぃあ
優位性：両方の最適化

競合他社との立ち位置が・・・
２０１２年　SeaMicroを買収：インテルさんも扱ってる→協業？
２０１２年　ヘテロジニアスシステムアーキテクチャ
２０１２年　ＡＲＭと６４ビット向けプロセッサ共同開発
２０１３年　ソニーＡＰＵ採用：プレステ４も→マイクロソフトも
　→最近はゲーム会社支援、協業
２０１３年　次世代ＭａｃＰｒｏ（７Ｔフロップス）にＡＭＤ
２０１３年　ｘ８６系　ムーンショットにＡＰＵ
モバイルからサーバーまでマルチメディアエンジン
→ピクセルデータ、ＧＰＵのほうが消費電力

２０１４年から大きく変わるＡＭＤ　４つの新たな成長戦略
・組み込み市場／セミカスタム：２％→２５％へ！（プレステ４のおかげ）
・グラフィックス：タブレット　ＣＡＤ，組み込み　ＧＰＵパススルー
・低消費電力＆高密度サーバー：クラウドセンター向け
・Ｎｅｗクライアントビジネス：ハイブリットタイプなど・・よくわからん？
→いままで２割を５割へ

新規ユーザー、新デバイス、新アプリケーションが
　クラウドコンピューティングを爆発的に拡大させる
・処理はデータセンター

コンピューティング、ネットワーク、ストレージにおける根本的な変化
・いままでＦＡＴコア→仮想化しても６割以上、電気使う
　　いろいろ
　　　　メディアデータセンター：新しいプロセッサー
　　　　セキュリティ：リモートデスクトップ
　　　　ゲームのクラウド化

新しい環境へ、新しいＡＭＤサーバー成長戦略
新しい環境へ、まったく新しいＡＭＤサーバー
Ｘ８６ビジネスも続ける
それにぷらす
ＡＲＭ系

ＡＲＭを使うためのＬｉｎｕｘ
ＯｐｅｎＣｏｍｐｕｔｅプロジェクト

ロードマップ
・ＡＭＤ　ＯＰＴＥＲＯＮサーバー

２ラインナップ
　　Ｏｐｔｒｏｎ　６３００　４３００
　　ワルシャワ低消費電力、低価格版

クラウド向け新ラインナップ
　　きょうと　３３００
　　べるりん＝きゃべり：新しいタイプのＡＰＵ
　　ＡＲＭ系（seatte)

３種類のＯＰＴＥＲＯＮ
　・クラウド・メガデータセンター
　・メディアクラスターＡＰＵ
　・計算クラスター　Ｘ８６ＣＰＵ／ＡＰＵ

ソフトウェアエコシステムとＨＳＡ
・ソフトウェアエコシステムパートナー
　　　ＯｐｅｎＳｔａｃｋ
　　　Ｌｉｎａｒｏ
　　ＡＰＵでＪａｖａ＝プロジェクト　すまとら

ＡＭＤ　ＳＥＡＭＩＣＲＯ＝OpenStack認証サーバー
　　ベアメタルも対応
　　日本ではＮｅｔＯｎｅ，ＣＴＣ

ＨＳＡ
　　ＣＰＵとＧＰＵをシームレスに連携
　　ＧＰＵでも汎用演算
　　メモリ空間も統合
　→ベルリン（今年６月から）飛躍的に性能が上がる

ＢＥＲＬＩＮ　ＡＰＵプロセッサーのＨＳＡ機能
　　ＨＵＭＡ　ヘテロジニアスなメモリアドレス
　→ＣＰＵ，ＧＰＵ
　　　ヘテロジニアスキューイング
　ＨＳＡ財団：世界の３分の２の半導体供給

アクティブに
Ｌｉｎａｒｏから
　　→fedora,Ubuntu　
　　　　→ＬＡＭＰＳ，OpenＪＤＫ　　

Ｊａｖａについて
　　Ｏｒａｃｌｅと協業：Ｊａｖａ９になるとＨＳＡシームレスに！！
　　ＪａｖａでＧＰＵアクセラレーション
　　すまとら＋ＨＳＡ：８倍、１０倍、１２倍

ＯｐｅｎＣＶ、Ｂｏｌｔなども強化

京都（ＨＳＡにはまだ対応していない）
・４コア　Ｊａｐａｎコア
・クロック：全クロックＯｎｅプライス
　　→なぜなら、ＢＩＯＳでクロックをかえられるから
　最小１１ワット、最大２５ワット
→ＨＰ　Moonshot

ＶＤＩはいままで仮想的に分けていた
Moonshotはもう１ノード１→ＨＤＩ

電力、スペース、ネットワークの解
　　次世代のホステット、デスクトップ、クラウドゲームへ

ＨＳＡによる開発環境は？
・きゃべりのプラットフォームでハード入手
・ＯｐｅｎＣＬの新しいバージョン
　　→デベロッパーサイトで