「Ｇｏｏｇｌｅクラウドが実現する大規模並列クエリサービス」を聞いてきた

ＮＩＩのトップエスイー　シンポジウムの基調講演

「Ｇｏｏｇｌｅクラウドが実現する大規模並列クエリサービス」

を聞いてきたので、メモメモ

---

■前ふり
・https://cloud.google.com/でGoogleのクラウドサービス全部見える
・今日のお話は、White paper

An Inside Look at Google BigQuery
https://cloud.google.com/files/BigQueryTechnicalWP.pdf

のまとめ

---

■アジェンダ
　　・ビッグデータをGoogleスピードで扱うためのテクノロジー
　　・Google Big Queryデモ＆事例紹介
　　・Google Big Queryはなぜ早い
　　・MapReduceとGoogle Big Queryの適材適所

---

■ビッグデータをGoogleスピードで扱うためのテクノロジー

・Ｇｏｏｇｌｅのビッグデータ
　　Ｙｏｕｔｕｂｅ　１分間で７２時間分
　　検索インデックス　１００ＰＢ
　　Ｇｍａｉｌのアクティブユーザー　４．２５億

・ＭａｐＲｅｄｕｃｅだと
　　数分～一晩かかるのはざら
　　→何か考えたとき、いちいちＭａｐＲｅｄｕｃｅではやっていられない
　　→バグに気づくのが遅い

・ＤａｔａＷａｒｅｈｏｕｓｅ
　　何千万、数億とかかる
　　アドホックなデータ分析に対応しにくい
　　インデックス、ディメンジョンの事前設定がいる

・Dremel(どれめる）Ｇｏｏｇｌｅで２００６年から運用
　大規模並列クエリインフラ
　インデックス不要、ありえない速さ
　あらゆるビッグデータをＧｏｏｇｌｅスピードで扱える
　　　Ｗｅｂコンテンツの分析
　　　スパムデータ解析
　　　　　：
　　　　　：

・Ｇｏｏｇｌｅ　Ｂｉｇ　Ｑｕｅｒｙ
　Ｄｒｅｍｅｌの公開版
　２０１２年５月公開
　月額＄０．１２／ＧＢ
　デモは無償で

・Ｂｉｇ　Ｑｕｅｒｙの使い方
　　Ｇｏｏｇｌｅ　Ｃｌｏｕｄ　Ｓｔｒａｇｅ
　　　　＋Ｇｏｏｇｌｅ　Ｂｉｇ　Ｑｕｅｒｙ
　　⇔ＲＥＳＴ　ＡＰＩ，コマンドライン　ＷｅｂＡＰＩ
　　⇔ＢＩツール、Ｇｏｏｇｌｅ　Ｓｐｒｅａｄ　Ｓｈｅｅｔ
　
■Google Big Queryデモ＆事例紹介
・サンプルテーブル：Ｗｉｋｉｐｅｄｉａテーブル
　サンプルクエリ：一番更新されているものを検索
　　　Ａｐｐ　ＥｎｇｉｎｅはＢｉｇＴａｂｌｅだったので、
　　　検索に制限があった
　　　ＢｉｇＱｕｅｒｙはＳＱＬのように使える

・ＥＲＰからインポートしたデータを
　　ＢＩＭＥ（びーむ）：クラウドＢＩツールで


■Google Big Queryはなぜ早い
・世界最大規模の超並列
　　・カラム思考ストレージを採用
　　　　→高い圧縮率
　　・数万台で並列処理
　　　　→１ＴＢを１秒でフルスキャン、
　　　　　１万台のディスク、５千個のプロセッサ

　　・階層アーキテクチャ
　　　　クエリの分散、結果の集約


■MapReduceとGoogle Big Queryの適材適所
・ＢｉｇＱｕｅｒｙがむくもの
　　アドホック、ＯＬＡＰ，ＢＩに向く
　　レスポンスは早い、非技術者でも
　→トライ＆エラーするものなど

・Ｈａｄｏｏｐが向くもの
　　データマイニング、複雑なロジック、
　　大規模データ生成、データ更新には向かない
　→バッチ処理、大規模データ出力、データマイニング

・ＳＲＥ（さいと・りらいあぶる・えんじにあ）が雇えないと
　数千台の並列分散は難しい

・Ｇｏｏｇｌｅ　Ｃｏｍｐｕｔｅ　Ｅｎｇｉｎｅ（まだ公開されていない）
　　＋　Ｈａｄｏｏｐ　→ＥＴＬ

---

■質問

・ＲＤＢは？

答え
・Ｇｏｏｇｌｅ　Ａｐｐ　Ｔａｂｌｅ：Ｂｉｇｔａｂｌｅ＝ＮＯ　ＳＱＬ
・Ｇｏｏｇｌｅ　Ｃｌｏｕｄ　ＳＱＬ：ＭｙＳＱＬ→今後もある
・次世代　ＮＯ　ＳＱＬとＲＤＢの中間
　　google spanner（すぱなー）　

ＣａｋｅＰＨＰの１．Ｘ系と、２．Ｘ系で何が違うのか－その２

ＰＨＰの１．Ｘ系と、２．Ｘ系で何が違うのか
同じものを作って比較してみる。

前回、１．Ｘと２．Ｘで、モデルを使わない形で作ったので、
今回は、その違いを比較してみる。

---

■違い

・ファイルの命名規約などが違う
　　１．Ｘ系のフォルダ名　→　２．Ｘ系のフォルダ名
　　controllers、views　→　Controller,View

・クラス名_でつなげる形からキャメルケースへ
　　my_test_controller.php→MyTestController.php
　　(フォルダ名）my_test→MyTest
　　　→結果として２．Ｘでは、ファイル名とクラス名の対応は取れている。

・コントローラーで、モデルを使わないとき
　　public $uses = null;
　と書かなくてもＯＫ

・ＤＢをつかわないならapp￥config￥database.phpがなくても（書き直さなくても）
　とりあえず２．Ｘは動く

・これは、こちらのやり方がわるかったのかもしれないけど、
　ＰＯＳＴで値をとる場合
　　　１．Ｘは
　　　　　　$yourname =$this->params['form']['yourname'];
　　　２．Ｘは
　　　　　　$yourname =$this->data['yourname'];

■２．Ｘでいいこと

　エラーになると、次に何をすればいいか、出してくれる。
　たとえば、以下のように

　書くべきファイルとその内容を示してくれるので、
　ガイダンスどおりやればＯＫ

スマホ販売店でGoogleのパスワードと秘密の質問の記入を求められる謎の用紙が話題に

ここの痛いニュース

スマホ販売店でGoogleのパスワードと秘密の質問の記入を求められる謎の用紙が話題に
http://blog.livedoor.jp/dqnplus/archives/1755370.html

(以下太字とイメージは、上記サイトより引用）
スマホ持ってないので知らなかった・・・
そうなんですか？

ちなみに、こんな感じらしい


もし、これで個人情報が漏洩したら、どうなるんだ！
って感じだけど

画像三枚目の上の方

異議申し立てをしない事に同意します

ってあるけど？

ってことで、そういうこともできない？

・・・よくわからない・・・