JTF2014に行って来た その７DMM.com構成

２２日、JTF2014に行って来た話、最後は

大規模エンターテイメントサイトを支える技術
DMM.comの裏側をお見せします

をメモメモ

---

・DMM.comの概要紹介

　　DMM.com　106名
　　DMM.com　Labo　実際のＷｅｂ　800名

そーらー、英会話も、３Ｄプリント
オンラインゲーム過半数以上ＰＣ　２４６

収益：コンテンツ配信、通販、オンラインレンタル

クロスデバイス

肉会

どんどん増える会員
ポイントによる決済システム

Ｗｅｂ＋ＤＢＰｒｅｓｓ７８
ツチノコブログ

ネットワークインフラ
データセンター東京３箇所、九州１箇所１８０Ｇbｐｓ
豊洲ＦＸ九州バックアップ、大手町

基本構造図

コアルーター
コアファブリック
エッジファブリック

ハイパーバイザー：ＫＶＭ、Hyper-V

コアネットワーク

コアルーター

コアファブリック

じゅにぱーさん、ブロケードさんを使ってる
Juniper QFabric使ってる：物理配置の自由度向上
エッジ　Juniper,Brocade,管理ネットワークOpenflow対応スイッチ

共有ストレージ HP 3PAR
Hypervisor VMWare

あんしぶるつかってる

パブリッククラウド、ＣＤＮは使ってます
コストよりスピード優先

ポイント

複数拠点
ピーク１００GBPS超える
４５００台～のサーバーインスタンス
新しい技術積極導入

■負荷分散

ＧＳＬＢ
ＳＮＡＴ（Ｌ７まで。ＳＳＬはサーバーでかける）
Ｌ２ＤＳＲ　内部負荷分散アプライアンスＡ１０

ＣＤＮの利用いきなり１５Ｇbps→ＣＤＮ使ったほうが安い

ＢＧＰによるトラフィックコントロール

ロードバランサアプライアンスはＡ１０の機材が多い５０台以上

■動画配信

ファイルサイズ→ストレージ
マルチデバイス→エンコーディング
負荷予測→ロングテールなので

大容量分散ファイルシステムGlusterFS
毎日２ＴＢずつ増えている

マルチデバイス
・コーディング

コンテンツアクセス制御

クラウド、ＣＤＮの利用
→キャンペーン

サービス連携
・一般向けに公開しているＡＰＩ
・コアの部分をしっかり作っておくこと

その他面白そうな技術
ＮＡＮＤフラッシュ
ＳＳＤも積極的に

画像専用サーバー
ＣＤＮ→ＮＡＮＤフラッシュ＝低コストと速さの両立

ログ収集
fluentd
elasticsearch
kibara

運用
２４時間３６５日監視体制

さまざまの監視ツール
zabbix
icinga
Munin
Nagios
Cacti（引退予定）

朝会による情報共有
　在庫：スイッチがなくなる
　チケットＪＩＲＡによるタスク管理

設備増強
　必要なものは買う　即決稟議
　最低限のスペックは決めている

勉強会

■今後のチャレンジ
・自社クラウドシステム構築
・ピアリングの推進
・データセンターの継続的見直し
・外部への情報発信
・事業拡大に向けての対応

サイトを通じて新しい事業を想像し続けること

JTF2014に行って来た その６ Openflow話

２２日、JTF2014に行って来た話のつづき

仮想ネットワークを実現するOpenVNet

をメモメモ

---

目的
・OpenFlowってどんなものかわかるようになる
・フローが読めるようになる
・OpenVNetの仕組みが大体分かるようになる

ＯＳＩ参照モデル
・第二層、第三層に関して実際のネットワーク機器上では
　どんな動きをするのか軽くおさらいします。

第二層データリンク層
・ＥｔｈｅｒＮｅｔ
Ｌ２スイッチの挙動
　Ｍａｃアドレスとポート番号のペアを記憶する
　→ポート

第三層ネットワーク層
Ｌ３ルーターの挙動
・あて先ＩＰアドレスを読み、あて先ネットワークを決定
・ルーティングテーブルを参照し、送信先を決定

複数ルーター間の挙動
・ダイナミックルーティングの場合、ＥＧＰなどで

まとめ
Ｌ２：スイッチではＭａｃアドレスを元に制御

Ｌ３：ルーターではＩＰアドレスを元に制御

What is OpenFlow
・２００９年スタンフォード大での研究が発端
・ＯＮＦ（Open Networking Foundation）が管理
・OpenFlowスイッチ

現在１．３に対応

OpenFlowプロトコルの説明
・OpenFlowコントローラーとOpenFlowスイッチ


スイッチ：
・接続要求：ＴＣＰなど

セキュアチャネルでコントローラーとスイッチを接続
　Ｎ対Ｎ接続→冗長構造

・HELLOを投げ合う→一番高いバージョンを投げ、会話を決める

コントローラー（フィーチャーリクエスト）→スイッチ（フィーチャーリプライ）

パケットの受信
パケットＩＮでお知らせ

フロー：フローモッド(FLOW_MOD)で更新
　　　　パケットアウト

フローの例
マッチ　アクション

オープンフローでは、テーブルごとに処理しない内容を分ける

メタデータ：６４ビットの汎用レジスタ

OpenFlow Switch
・OpenVSwitch
・Tremaというフレームワーク

■OpenVNetの実装
・わかめＶＤＣの仮想ネットワークを外だしにしたもの

作った理由
・オープンソースで開発されてない

・複雑なネットワークを作れる→物理ネットワークを単純に

・構成
　エージェントプログラム
　キューイング
　管理するプログラム

ＶＮＡ：パケットやり取りするエージェント
ＶＮＭＧＲ：ＶＮＡを管理するマネージャー、ＭｙＳＱＬにつながっている
ＶＮＣＴＬ：

ＭＡＣ２ＭＡＣ
　はなれた物理マシン間でも転送
　ＡＲＰリクエストを送る
　　Ｏｐｅｎｖｓｗｉｃｈ
　　　わからないので、となりのマシンにブロードキャスト
　　　ＯｐｅｎｖＳｗｉｔｃｈが覚える
　　ＶＭ２からＡＲＰリプライ

Ｌ３を超える場合：ＧＲＥトンネル

セキュリティグループ：ファイヤーウォール

コネクショントラッキング
　　ＶＮＡにＶＭ１→ＶＭ２許可、ＶＭ２→ＶＭ１許可を一時的に入れる

OpenVNetのテスト
Openvnet-testspec
・RSpecで記述
・シナリオごとにyaml
　　L3を越えるかなど
　　Jenkinsでジョブ管理
Hipchat

Wakame Users Group
７月２５日１９：００
wakameusersgroup.org

JTF2014に行って来た その５ OpenStack/AWS統合管理

２２日、JTF2014に行って来た話のつづき

ハイブリッド・クラウド自動化基盤
openQRMで実現するOpenStack/AWS統合管理

をメモメモ

---

クラウドになって便利になったか→たいへんになった
　　３日後に１０００台うごかせ

運用管理自動化基盤の役割
　　開発サイクルの高速化
　　　要件定義
　　　設計
　　　コーディング
　　　テスト
　　運用サイクルの自動化

継続的デリバリー

クラウドオーケストレーションツール
　　→クラウド：運用複雑

運用管理自動化基盤構成スタック
　　OpenQRM→オープンソースのクラウドオーケストレーションツール
　　proxmox

　　プロビジョニング
　　ＯＳインストール
　　各種設定
　　アプリインストール
　　運用監視
　　移行・ＨＡ／ＤＲ
　　ユーザー管理・課金管理

異種クラウド環境を統合管理
異種クラウド間のシステム双方向移行
セルフサービス化と課金管理・リソース管理
運用管理自動化基盤の効果
　　継続的デリバリーの実現
　　構築～実装～サービス稼動まで

ＡＷＳ／ＯｐｅｎＳｔａｃｋインテグレーション

デモ
・ＶＭ追加

ＯｐｅｎＱＲＭシステム概要
・プラグイン構造
　　OpenQRMサーバー
　　物理構造
　　クラウドサービス
　　ストレージ

・サーバーテンプレート
・LinuxCOE+Ansible/Puppetで全自動

・ＨＡ構成
　　ＬＶＭＣインテグレーション

マイクレーション
Ｐ２Ｖ／　Ｖ２Ｐ　（Ｖバーチャルｐフィジカル）

Ｚａｂｂｉｘ・Ｎａｇｉｏｓ監視

ポータル画面
　　ＡＰＩ

利用例：ＢＣＰ／ＤＲサービス

ＯｐｅｎＱＲＭユーザー会

----どこかで出てきた気がする----

ぴくしーぶーと
ＣＣＵ課金単位