SSL 3.0 を使用している場合、通信の一部が第三者に漏えいする可能性があります。

について聞かれたんだけど、今時間がない。
あとでよむ。URLだけメモメモ


更新：SSL 3.0 の脆弱性対策について(CVE-2014-3566)
https://www.ipa.go.jp/security/announce/20141017-ssl.html

「富士通ビッグデータフォーラム２０１４」にいってきた！

きのう、１１／１３日

富士通ビッグデータフォーラム２０１４

に行ってきた！まずは、基調講演をメモメモ

---

■ご挨拶
・ヒューマンセントリック・イノベーション
　ヒト、情報、インフラの３つの経営資源を融合して
　ビジネス・社会の価値を創出

・IoTXビッグデータ
　２０１３年１００億個
　２０２０年５００億以上に

・富士通が提供する価値
　ワンストップでイノベーション
　暗号化したままで

・ビッグデータの様々な活用シーン
　　デジタルマーケティング

・IoTによるお客様との共創型ビジネスを推進
　オープンなIoTプラットフォームをご提供

---

■基調講演
　新たなビジネスを拓くビッグデータ

１．データ自身が価値をもつ
２．データが全ての分野で
３．どういうスタンスでいればよいか

　解はわからない

・データの価値
　３２億ドル（スマホ＋WiFi)
　サーモスタットと火災報知器の会社
　　→データに価値をつけた

・Next Developer Program
　連携
　　クルマ
　　LEDライト：家を留守にしているとき→光をつける
　　洗濯機：安いタイミングで動かす
　→サーモスタット：データのハブ

・データ
　コンテンツを集める機構
　　ソーシャル化
　「行動情報」を集める機構
　　　個人化
→「モノの情報」を集める機構
　　　スマート化

　データを集める仕組みを作る

・社会基盤としてのICT
　生産性向上と価値創出

・PLC
　プロセスイノベーション
　大規模製造業の生産性の大幅工場
　センサー、コンピューター、アクチュエーターの自動化
　1968年、Richard MorlyGMに導入

・ビッグデータ、IoT,M2Mが対象とする市場規模

・生産性の低い分野
　医療、農業、はスキップ

・スポーツ
　サッカー：
　　　SAP　HANA
　　　Google Glass
　　　タブレットで瞬時に把握
　→コーチングのやり方が変わる

・スマートゴミ箱(big Belly Solar)
　→ごみの量をセンシング
　→ちょっとスマート化する

・研究室でやっていること
　　風力・地震
　　ヘルスモニタリング
　　ICT農業
　　リアルタイムワイヤレス
　　センサネットワーク２５０台同時送信型

・どういうふうに
１．汎用技術
２．知識ベース資産
３．海兵隊とフィールド指向ICT

・１．汎用技術（GPT)
　あるテクノロジーがすべての分野に
　→霞ヶ関が変わる？

・バブル
　はじけて３０～４０年たって、初めてホンモノ
　　１８５０年　鉄道ブームはじける→全盛期は１８８０～９０

　１９２９年
　　電力株と自動車株→インフラは１９５０～１９６０年
　　自動車３０００→３社：会社は減るけど、雇用が増える

　２０００年、２００８年（リーマン）
　　ICT：テクノロジーとしては成熟

・２．知識ベース資産と有形資産
　　投資：有形資産と無形資産
　　アメリカ：投資→無形資産、知識ベース資産

・Data Value Cycleと無形資産
　　OECD

・３．海兵隊とフィールド指向ICT
　海兵隊：陸海空がまとまったコンパクト→敵陣に行く
　強い想い＋こだわり＋夢
　語ることのできる人材

　死亡してもほめてあげないと、前に進まない
　データの量はある。中身は？
　始めのフェーズ重要

・デザイン
　どういう人材？
　　気づく
　　考える
　　試す
　　伝える
　昔；やらないといけないことが決まっていた
　今：やらなければいけないことがわからない

・葉面積指数
　　育成指標：葉面積指数（LAI)→３ヶ月で

・新興国X教育X子供
　　子供への教育、親への教育、家族の対話

・ストーリーとしての競走戦略　くすのきせんせい
　　優れた戦略とは思わずヒトに話したくなるような
　　面白いストーリーであるべきだ

・職が生まれる

---

■ビッグデータ活用への期待と障壁

・日経ビッグデータラボとは

・多種多様な層がビッグデータへ関心
　　日経ビッグデータの読者層：情報システム１０％

・読者のビッグデータ活用への期待
　　新たな売り上げを作りたいのが期待

・サポート、生産は成果を挙げやすいが
　開発、販売は成果挙げにくい
　期待に対して成果をみると・・・
　→販売部門厳しい、潜在顧客の発掘は難しい

・人材、効果の試算などが活用の障壁に

・解決へのヒント１－人材
　　社内公募／社外人材の獲得／社外の才能の活用
・解決へのヒント２－効果の試算
　　既存市場を引き合いに／既存手法で説明
・解決へのヒント３－新たな事業モデル
　　モノからサービスへ／自社の強みを追及

・どんなことをしたいか？
　　データ活用施策
　　意思決定に結びつくデータ、リアルタイム

・２０１５年に注目したい動向
　　１．パーソナルデータの地活用と保護
　　２．新たな事業モデルの構築が本格化
　　３．CDOの設置

Cassandraの商用版、Datastaxのエンタープライズ版はインメモリらしい。IoTによさげ？

DB Tech Showcase　東京2014つづき、11/13の

Apache Cassandraに注目
IoT,Bigdata,NoSQLのパスワードに振り回されるな！
承認とってない３社、大手企業が大規模運営するホンモノの実力

講師：datastax（でーたすたっくす）の原沢さん

をきいてきたので、めもめも

---

C*のマーク

DataStaxとは
・Apache　Cassandraのディストリビューター
　　→LinuxとRedHatの関係
　　→Datastaxのエンタープライズエディションがある

・
Amazon DynamoDB 分散ハッシュテーブル
Google ビッグテーブル
→FaceBookがCassandraを作って、自分たちは使わなかった
　オープンソースに寄贈

Datastaxがエンタープライズ向けに
　Cassandraはオープンソース
　チェアー：サポートが必要→会社を作った
　セキュリティ：けるべろすとかを組み込んだ
　　インメモリDB,
　　分析　　　SparkSQL
　　全文検索　そらーが入ってる！！

（事例：承認をとってないので省略）

Apache CassandraはIoT向けデータベース
　→日本では

今、データセントリック

リレーショナルとNoSQL
　　NoSQL=Not Only SQL？
　　Database!=RDBMS
　　　　or
　　Post Relational
　　　でしょ？

オペレーショナルDB　VS　分析DB
（OLTPとデータウェアハウス）
→ORACLE　ひとつ：難しい

Hadoop、MapReduce：分析DB
　　2003,2004 Google MapReduce論文
　→DBは７年くらいたつと、使えるようになる

新しいものNoSQL
　キーバリューの考え方
　The 451 Group.com

RelationalにするかNoSQLにするか
　　IoT：データがどんどん出てくる
　　→リレーショナルもってない
リレーショナルでやらないほうがいいモデル
　　センサー
　　ゲーム
新しく出てくるデータがリレーショナルでない→NoSQL
→非正規化で入れる
→RDB：インデックスをUPDATE

フュージョンIOのSSE　INSERTは1ミリ秒かからない
　　→ってことは何回も書いちゃえば、
RDBで作ったほうがいいケース
作らないほうがいいケース

Cassandraの特徴
・パフォーマンスはリニアに拡張
・アーキテクチャ（完全な分散＋KVS)
　　マスタースレーブという考え方がない
　　３台分くらいコピー
　　３つ壊れたら：データがある限り、検索が可能
　　　→バージョンが違っても動く
　　ローリングアップグレードできる
・コミットログに書いているだけ
・柔軟なNoSQLデータモデル
・CQL(Cassandra Query Language)

Twitter Cassanrajapan

「Couchbase Serverを用いた大規模データ収集基盤」を聞いてきた

DB Tech Showcase　東京2014つづき、11/12の

Couchbase Serverを用いた大規模データ収集基盤

をきいてきたので、めもめも

---

会社紹介

・稼働率１００％、安定したパフォーマンス
・システムを停止せずにメンテナンス可能

ビジネス上の課題
・Webアプリからネイティブアプリへの移行
　　→意図的にデータ収集が必要
・外部の解析ツール
　　→ユーザー解析は困難

目的
・アプリ横断的な分析、解析

実現方法
・社内共通のIDを社内SDKで発行
・トラッキング；アプリ終了時

サーバの課題
・可用性：完全ダウンは許されない→縮退運転
・拡張性：即座にスケールアウト
・データ構造：柔軟なデータ構造

couchbase
・CEDEC2013　DrawSomething→導入へ

特徴
・ドキュメント指向
・高パフォーマンス
・自動車ーディング
・高スケーラビリティ

ドキュメント
・JSON,XML→スキーマレス
・２．１．１　コミュニティ版
・メモリが推奨スペックに満たない環境で運用
・集計には「まりやDB」を使っている

・稼働率１００％

ストレージタイプ
・標準memcache Typeをサポート
・Couchbase Typeを利用

vBucket
・ノードの物理的位置を抽象化
・リバランス：動的に更新
・しらなくても問題ない

PHP SDKによる開発
・書き込みレベル３レベル
　　メモリ書き込み
　　ストレージ永続化
　　レプリケーション完了

パフォーマンス
・クライアントから見たパフォーマンスはノードの数に関わらず一定

レプリケーション
・最大３回、非同期

フェイルオーバー
・２回ダウンしても、データロスとなかった
Graceful fail over：データロスとの可能性小

リバランス：システム停止せずOK
　→性能は多少劣化
リバランス失敗：メタデータが５０％越え
→メモリ？インデックス？

古いドキュメントを消すなどした

３．０
・メモリの中に保存するでーたかんりできる
・メタデータも一緒に削除できる

フルバックアップ→復元できない
・もう一度→復元できた？
・バックアップ時には、リストアできることを確認

管理コンソール
・監視可能
２．１．１　アラート３０秒→２．５から１２０秒

今後：Couchbase Mobile(とLite)
・データの同期
・オフラインとオンライン、同じ動作
・特定の環境に依存しない

N1QL（にっける）

ノードの数は？８個
ハード障害は：１回

「ヤフーはいかにしてHadoopを活用しているのか」を聞いてきた！

DB Tech Showcase　東京2014つづき、11/12の

ヤフーはいかにしてHadoopを活用しているのか

をきいてきたので、めもめも

---

・Yahoo is 課題解決エンジン
　１００種類を超えるサービス
　マルチビッグデータカンパニー

・ビッグデータ！
　月間アクティブユーザーID：２８００万人
　月間ページビュー５９０億
　年間ユニーク検索７５億
　取扱商品　１億点以上・・・今、もう少しで楽天おいぬく

　年間　「ORACLE　エラー」検索数　約５万６千
　一番検索されているコート　ORA-12154
　TNS-サービス名を解決できませんでした
　→TNSを真っ先に解決すべきと判断できる

・Volume,Velocity,Variety→value
　ビッグデータレポート
　　景気と検索ワード
　　議席率：的中率高い
　　インフルエンザ感染状況
　　大相撲の人気がジャニーズを超えたのか？
　　YAHOOで検索してね！
　YAHOO DMP
　　データマネジメントプラットフォーム
　　やふってください
　サービス展開：
　　検索ワード入力補助
　　レコメンデーション
　　音声アシスト
　　感情分析
　A／Bテスト


どのようなシステムでデータを処理しているか
・データの流れ
　　　　ログ(DataHighway）
　　　　　　　↓
　　　　　　Hadoop
一時加工データ
　Storm　　　　　　RDB
Hadoop中心

５７００台：１日１．５台のペースで故障（故障率０．８％）
４００超のユーザーを超えるマルチテナンシー

ヤフーのHadoop基盤の歩み
～２０１０　数台
２０１１～２０１２　全社クラスタ化
２０１３年　マルチビックデータ（３千数百）
２０１４　　更なるスケーラビリティ：データの蓄積先
ニーズに応じてスケール

現在のHadoopに対する要求
・でーたから新たな価値を生み出したい
１．新機能の開発に注力したい
２．長期データを活用したい

とりまく状況
・データ増加
・データ集約
・システム集約

もうひとつ
・Oracle,MySQLも利用
　apache：ファイルに落とされる
→１ヶ月６９P圧縮して１４P

・コンテンツごとの利用状況を把握したい
・都道府県→分析
　　select count(*)
　　　Oracle exadata,Teradata→さらに高い
　　　→非構造化：Hadoop：DBに置き換わるものでない
　　　→スーパーコンピューターに置き換わる

まとめ
・HadoopはRDBと違った領域
　より構造化されていない大量データ
　CDH：無料でダウンロードできる
　　→新人研修で構築
　OpenStackの次期バージョンに載ってくる？

ディスク障害が多い