JTF2014に行って来た その4 OpenStack Swift＋Puppet

２２日、JTF2014に行って来た話のつづき

「OpenStackSwift」をPuppetで数百台自動構築して見えた課題と現状のベストプラクティス

をメモメモ

---

・自己紹介

１．OpenStackSwiftとは
米国RackSpaceのオンラインストレージサービスで使われていた基盤ソフト
IaaS(nova)で使うならＶＭイメージのバックアップストレージ
世界中でエンタープライズ用途の適用

技術概要
・Proxyは振り分け、Storageはデータ格納
・リングファイル（郵便番号と住所の対応みたいなの）
・冗長度を確保しながらデータを書く→自動復旧

Ｐｒｏｘｙを増やすとスループットが増える
Ｓｔｏｒａｇｅを増やせば、容量が増える

Ｓｗｉｆｔを使うのは
・スケールアウト型
・長期保存型
・高速・性能重視
Ｓｗｉｆｔリードに性能が出る

利用例
・階層型ストレージ
　　バックエンド

２．数百台自動構築

自動構築に至った理由と目標
構築サーバー数百台、検証本番合計６セット
→自動構築

kickstart
puppet　設定ファイルのデプロイ
subversion　マニュフェスト及び構築資材の配布
pssh　並列シェルの実行（ぱられるしぇる）
IPMI　電源管理

puppetを利用する上の懸念
終局見積もりは千台をこえる、Puppetマスタは耐えられるか
ローカルデプロイ方式
　（クライアント／サーバー方式ではなく）
　理由：証明書

４ステップ
・構成サーバーＩＰＭＩで電源ＯＮ
・KickstartでＯＳ入れる
・資材とマニュフェストをチェックアウト
・puppetを使って一括ファイルデプロイ

自動試験も
・Tempest（てんぺすと）：Swift
　コミュニティ版１パターン通ればＯＫ
・Tempestでできないこと
　　TempestはＡＰＩ試験しかしない
　　自分で作る部分も

遭遇したトラブル
・検証環境のファイルを本番環境にデプロイ
・違う理由で止まっていたプロセス→puppetの実行で意図せず起動
・設定が反映されていないものがあり、想定外の事象

なぜ起きる
・本番環境へのプロビジョニング運用は正しくないのでは
　　puppetは悪くない→ヒューマンエラー

３．これからのインフラプロビジョニング
「１度構成したサーバーには２度と変更を加えない。
　更新時は新たな環境に差し替え」

ＯＳのイメージ作成から一貫してプロビジョニング
　→Packer,Docker

Packer　みっちぇるはしもとが作っている

Packerユースケース
　　クラウドの移行

Ｄｏｃｋｅｒの特徴
・ポータビリティ
・バージョニング
・ＡＰＩ

基本はPackerを使っておく、Ｄｏｃｋｅｒはプラットフォーム

これからのプロビジョニングのベストプラクティス
・コード化したインフラ／アプリ／テストコードをＣＩと連携してプロビジョニングする

今後取り組むべき課題
・ＤＢはImmutable
・ログ管理
・RHEL5
・プライベートリポジトリ管理

Immutableなインフラ→PackerとDocker

JTF2014に行って来た その３ やっぱDockerでしょう！

昨日、JTF2014に行って来た話のつづき

Dockerエンタープライズ活用モデル
講師：ワークスアプリケーションの人２人

をメモメモ

---

自己紹介
・基礎研究を行う部署
　　フレームワーク、新技術
　　設計から運用

Ｄｏｃｋｅｒとは
・勉強会ＡＷＳのＭｅｅｔＵＰ
　　Ｄｏｃｋｅｒって、いいらしいよ

なぜ人気なのか
・軽い
・使いやすい

軽い
・何が違うのか
　　ハードウエア仮想化
　　コンテナ仮想化
・処理が早い
　　ハードウェア仮想化
　　　　ハードウェアを仮想化
　　　　異なるＯＳ

　　コンテナ仮想化
　　　　ＯＳを仮想化
　　　　異なるディストリビューションを仮想化

比較
　　物理とＤｏｃｋｅｒは変わらないパフォーマンス

使いやすい
・apacheのサービスを起動
　　　入れる
　　　作る
　　　　Dockerファイル
　　　後片付けも簡単
　　　ポータブル
　　　　Build Ship Run
・みんなで使える
　　　Docker registry
　　　　イメージを簡単にPush & pull

・どこのクラウドにも持っていける！

使える
　　簡単に使える
　　みんなに仕える
　　どこでもつかえる

ＡＵＦＳ
・複数のファイルシステムをあたかも
１つのファイルシステムに存在するように

・変更されていないファイルは各コンテナで共有

コンテナ仮想化
・namespace
　　PID namespace ：プロセスＩＤ
　　Net namespace ：同じ名前の
　　　　namespace ：同じポート番号を使う
　　→veth

・cgroup
　　これくらいつかっていいよ

軽くて使いやすい

■Dockerの事例紹介

エンタープライズとは
・複数のバージョンが同時に
　　環境：おなじものを、東京から提供したい

・事例紹介
　　継続的インテグレーション
　　ＣＩの問題点
　　　Jenkinsを普通に立てると、バージョンが違ってしまう
　　　仮想環境だと遅い
　　　→Ｄｏｃｋｅｒで環境をパッケージ
　　評価
　　　Ｔｏｍｃａｔ調査
　　　Ｄｏｃｋｅｒコンテナを立てる
　　誰が問題を起こしてもＯＫ
　　開発　Ｖｉｒｔｕａｌ　Ｂｏｘによりわける
　　　→Dockerを使う

　　複数拠点間のＤＢ運用
　　　Ｄｏｃｋｅｒ
　　　　　東京ＡＷＳ→イメージＰｕｓｈ
　　　　　どこでも動かす（上海）

JTF2014に行って来た その2 HTTP2はいろいろあるらしい

昨日、JTF2014に行って来た話のつづき
つぎに

インフラエンジニアのための次世代プロトコル入門

をメモメモ

---

・講師の中島氏の自己紹介
　　(Internet Society)あいそっく日本支部プログラム委員

インフラとは
→コードのケーブルの・・・ちがいますよね
→apacheとかnode.jsとか・・・
→道路作ってるかんじ？

今のプロトコル
・ＨＴＴＰ　　　１５年前から
・ＴＣＰ／ＩＰ　１９７４年

大きく変わったＷｅｂ

■今日のお話：次世代プロトコル

環境の変化
・接続環境
　　固定回線→モバイル
・Ｗｅｂページのプロトコル
　　少ないリソース数

遅延と帯域幅
　　遅延：進歩が見られない
　　遅延は収益に影響

ＨＴＴＰ／１．１の問題点
・最大接続数
　　１ユニークホストに対して６接続
・直列処理
・プロトコルオーバーヘッド

Ｗｅｂをめぐる黒魔術

ＨＴＴＰ／２
・ＲＴＴによる転送速度への影響が発生することを解決
・環境を限定しないパフォーマンスの改善
・ネットワーク資源の効率的な利用
・現代的セキュリティ
・GoogleのSPDY（すぴーでぃ）

ＨＴＴＰ／２のとくちょう
・ＨＴＴＰヘッダー圧縮
　　ＣＲＩＭＥ（くらいむ）攻撃→HPACK
　　→サーバーとクライアントのテーブル同期させる必要
・優先度つき全二重通信
・サーバーからのプッシュ
・１つのＴＣＰ接続

ＴＣＰ
・ルーターと同じ数、もしくは多くミドルボックス（ロードバランサなど）がある
　　→ＨＴＴＰ２をロードバランサーは理解できない・・・

TCP Alternative
・ＱＵＩＣ（くいっく）
　Ｇｏｏｇｌｅから
　　Quick UDP
　　　→ＵＤＰの上にある
・Head of Line Blocking
　　前のデータがロスすると、後のデータが全て届いていても使えない
　　→ＱＵＩＣはＯＫ
・ＴＣＰとＴＬＳのハンドシェーク
・Ｑｕｉｃ　１ＲＴＴ、再接続０ＲＴＴ

QuicでＵＤＰ
・こんでしょんこんとろーる
・マルチパス

ＷｅｂＲＴＣ
・Ｐ２Ｐ→ハンドシェークに４ＲＴＴ

ＴＣＰを買える
・マルチパスＴＣＰなど

ＴＬＳ
　ＵＤＰだとＤＴＬＳ
　ＴＬＳ１．３
　Heartbleed&CSS Injection
　　・coqでみつけた？
　ＰＦＳの重要性

ＩＰＶ６
日本全国３．４９　アメリカ７．９％
Microsoft AzureでUS-regionでUS IPV4アドレス枯渇

ＣＧＮ
ＮＡＴ６４

ＩＰＶ６対応
　新しいサービスから
　Cloud FlareなどＣＤＮの活用

来年の２０１５年１１月はＩＥＴＦ　横浜
http2勉強会

ハイパフォーマンス　ブラウザネットワーキング

JTF2014に行って来た その１

昨日、JTF2014に行って来た。
インフラエンジニアさんのカンファレンス？らしい。
産業技術大学院大学でやっていたものなんだけど、そのときのメモメモを
いくつか。

まずはじめに

Serverspecに見る技術トレンドを生み出すヒント

をメモメモ

---

■自己紹介
　宮下氏 http://mizzy.org

■アジェンダ
・最近のインフラ系トレンド
・Serverspecとは
・Serverspecが生まれた背景
・Serverspecの認知度
・Serverspecの成功要因
・まとめ

■最近のインフラ関連技術
・ＯＳからミドルウェアといった
　ソフトウェアレイヤーを指す言葉としてのインフラです

・インフラ関連技術トレンド
　サーバー関連ツール
　　Chef人気
　　　今年になって４月、５月と立て続けに書籍発刊
　　　ＵＳでは２０１４年にPuppetのシェアを超えたらしい
　　Ansible（あんしぶる）
　　　Chefへのカウンター
　　　（比較的簡単に使える）
　仮想化関連ツール
　　Vagrant
　　Docker（勢いある）
　テスト駆動インフラとインフラＣＩ
　　TestKitchen
　　Serverspec

・Immutable Infrastructure
Trash Your Servers and Burn Your Code
　　Web+DB Press vol.81

■テスト駆動インフラ　インフラＣＩ
・WebDB Press 80
・テスト駆動インフラ／インフラＣＩ
　アプリケーション開発の手法をインフラ構築に応用
　@riywoくんが２０１２年にインフラＣＩについて書いている
　自分自身構想は２００７年ぐらいからあった

・テスト駆動インフラ／インフラＣＩ
　インフラをテスト可能にするのはServerspec

　@t_wada（テスト駆動開発の一人者）
　Github Flowを使ったインフラ構築・・・

■Serverspec
・Serverspec
　２０１３年３月末にリリース
　RSpecでサーバーの状態をテスト
　ほんしつはサーバーの状態を記述したコードをテスト
　　Puppetマニュフェスト、Chefレシピ
　インフラコード開発や利ファクタリングを効率よく行うためのツール

・Serverspecのスペル
　まんなかのＳを大文字にするのは間違い
　→「RSpec」

■Serverspecはなぜ生まれたのか
・テストツール開発のきっかけ
　２００６年にPuppetを使い始めた
　　サーバー構築はPuppetによって自動化できた
　　じゃあ次は構築後のチェックを自動化したい
　　　　Excelチェックシートでの目視確認やめたい

・Assurer
　　２００７年に作ったPerl製サーバテストフレームワーク
　　プラグインで拡張可能
　　　　Plaggerの影響
　　make testでテスト実行／ＴＡＰ形式で結果出力

・Assurerの敗因
　　Surverspecと違い振る舞いをテスト
　　　→状態のテストよりも要件が複雑
　　欲張っていろいろ詰め込みすぎて、さらに複雑になった
　　　→フェーズ分け、プラガブル、分散処理、シェル
　　コンセプトがServerspecほど明確ではなかった
　　開発者である自分すら使わなくなった

・Assurer以降
　　時々思い返すことはあったけど積極的に何かしようともしなかった

・またPuppetさわりはじめた
　　自分がかつて書いたPuppetマニュフェストがレガシーになっていた
　　リファクタリングしたくなった
　　リファクタリングするなら当然テストが必要だし
　　ＣＩもやりたい

・インフラテストの前準備９
　　インフラＣＩやろうと思って、まずはＣＩを実行する環境
　　　ＬＸＣコンテナでテストするためにコンテナをさくっと作れる
　　　puppetマニュフェスト書いた
　　丁度同じタイミングでDocker

・テストツールさがし
　　既存のものでよさげなもの
　　　rspec-puppet
　　　Chefはテストツールいろいろ（きゅーかんばー）

・自前でつくることにした

・Serverspec誕生
　　当時の同僚(@hiboma）がLXCのコンテナをテストするコードをRSpecで書いていた
　　パクって汎用的に

・初期のServerspec
　　Redhat SSH
　　→@tkmrさん複数ＯＳ
　　　@raphinkさんがバックエンド切り替え

■本当に広く使われているの？
・Serverspecの認知度
　　Black Duck Open Source Rookies of the year 2013
　　　Docker,InfluxDB,Appiumと並んで
　　Thought Works Technology Radar 2014
　　　Provisioning Testingの項目にServerspec

・雑誌
　　Web+DB Press vol75,76,80,81

・いとうなおやさんに取り上げられた→流行る

・Test-Driven Infrastructure with Chef,2nd Edition
　Chef

■海外での反応
・ChefConf

■なぜServerspecは成功したのか
・能動的な要因
　　別領域で成功しているプラクティスを持ち込む
　　　ソフトウェア開発の世界のプラクティス
　　　　テスト駆動開発
　　　　継続的インテグレーション
　　同じ用語を使うとイメージしやすい

・名前重要
　　Server+RSpecという直球な名前
　　名前から何をするものなのかが類推しやすい

・英語ドキュメント
　　日本国外でも広く認知してもらう場合重要

・メジャーなキーワード／プロダクトにのっかる
　　PuppetやChef

・ドキュメントのわかりやすさ
　　ざっと斜め読みしただけで何ができるツールかわかる

・ツール自体のシンプルさ

・シンプルだけど、拡張しやすい
　　Unix哲学 Keep It Simple Stupid

・他ツールとの組み合わせ
　　beaker-rspec
　　vagrant-serverspec

・エージェントレス
　　テスト対象はＳＳＨでアクセスできればＯＫ

・使うまでの敷居を下げる
　　1.8.7以降をサポート

・自分ひとりでやり過ぎない
　　ほしい機能があれば自分で実装してくれ

■技術トレンド要因
・サーバー構成管理ツールの成熟
　　puppetから９年

・Vagrantの普及
　　手元でＶＭを動かせる

・Chef界隈でのテストの盛り上がり

・JenkinsやCI as a Serviceの普及

・Githabの普及

・まとめ
　　構成管理仮想化テストＣＩ
　　GitHubがこのトレンドをさらに後押し

■まとめ
・あえて隙を作る
・トレンドにのる
・影響力のある人

→技術トレンドを生むとか考えない
　自分のほしいもの、面白いと思うものを自分のためにつくる
　自分が作って公開したもの

Shut the fuck up and write some code
Openness is our driver for excellence
知之者不如好之者好之者不如楽之者

うちにも、Ａｍａｚｏｎ（うそ）から「プレゼントが届いております」が来た。

それと、「アマゾンギフト券ご当選のお知らせ」も
こんなかんじ


スパムばっかなんだけど、それはさておき・・・
開いてみると・・・

いかにもあやしい・・・

プロパティをみると・・・


info@mezon-hime.mobi→アマゾンではない！
にせものです。フィッシング詐欺です・・・


Amazonを装ったフィッシングサイトにご注意ください
https://www.amazon.co.jp/gp/help/customer/display.html/?nodeId=201541660

にも、Ａｍａｚｏｎ自体が、注意喚起してる。

ちなみに、Ａｍａｚｏｎは、e-mailで使用しているドメインを公開している。

Amazon.co.jp からのEメールかどうかの識別について
https://www.amazon.co.jp/gp/help/customer/display.html?nodeId=201304810

によると、使用しているドメインは

•amazon.co.jp
•amazon.jp
•amazon.com
•marketplace.amazon.co.jp
•m.marketplace.amazon.co.jp
•gc.email.amazon.co.jp
•gc.amazon.co.jp

だそうな。もちろん、mezon-hime.mobiはない。

仮想博物館→インパク？

仮想博物館もつくる？　青山学院大の斬新な取り組み
http://news.goo.ne.jp/article/dot/nation/dot-2014061900063.html


仮想博物館と聞くと、インパクを思い出してしまう。

こんな感じだったそうだけど


http://web.archive.org/web/20011201043042/http://www.inpaku.go.jp/index.html
より

青山学院大は、たぶん、こういうのじゃないだろうけど・・・（＾＾；）

チェックマーク☑って、文字、あるんだ（＠＿＠）！

今、Excel方眼紙埋めてて気づいた。

チェックしてくださいという欄があって、サンプルに

☑ 新規

と書いてあったので、初めて知った。

チェックを示す文字☑って、あるんだ・・・・

「Nginx ユーザ会」なるものがあったらしい

その報告が、

Nginx ユーザ会 #0 に行ってきました #ngxug #hbstudy
http://www.koemu.com/blog/2014/06/19/nginx-ug-0/

に載っている。ということでURLメモメモ

高評価レビューをゲット後に部品を安物に変更

新製品のその後の売れ行きを大きく左右するのが口コミサイトなどでのレビューの評価ですが、一部のメーカーが、高評価をゲットして上々な売れ行きを確認した後、ハードウェアの部品を性能の劣った安物に変更するという手口を採っていることが指摘されています。

とのこと

高評価レビューをゲット後にSSDの部品を安物に変更する手口が暴かれる
http://gigazine.net/news/20140618-switch-cheaper-parts-after-good-review/

(太字は上記サイトより引用）

ちなみにSSD のビジネスは、2014年に 60％ も拡大するらしい

ファブレットが絶好調－そもそもファブレットって？

5 inch 〜 7 inch のスクリーンを持つスマホのこと


らしい

ファブレットが絶好調になってきた：スマホとタブレットを上回る成長を１枚のチャートで

（太字は上記サイトより引用）

フェイスブックで「感動話」「いい話」「計算問題」クリックはダメ、絶対！

ちょっと古い話だけど、いまでも通ずる話だと思うので、
メモメモ

フェイスブックで「感動話」「いい話」「計算問題」クリックはダメ、絶対！
http://www.huffingtonpost.jp/shoji-akimoto/post_7089_b_4969403.html

RをGUIで操作：Rコマンダーのインストールと立ち上げ

それでは、RをGUIで操作する

Rコマンダー（上の画像）をインストール、立ち上げする。

---

■前提

・Rは、前のエントリ

　の方法でインストールされているものとする

・Rを立ち上げたところからはじめる。

---

■Rコマンダーのダウンロード

「パッケージ」→「パッケージのインストール」

出てきたダイアログで（スライドさせて）

Japan(Tsukuba)などを選択、「OK」（他でもよい）


出てきたダイアログで（スライドさせて）

Rcmdrを選択「OK」

以降出てきたダイアログ


すべて「はい」

ダウンロードが開始され、コンソールに

のように出る。
この作業は、Rダウンロード後、１回でいい
（次回からRコマンダーを立ち上げるときは、このダウンロードはいらない）

---

■Rコマンダーの実行

ここからは、Rを立ち上げ、Rコマンダーを立ち上げたいとき毎回行う。

コンソールに

library(Rcmdr)


と入力する。はじめのときは

というダイアログがでることがある。「はい」をクリック

というダイアログが出たら「OK」をクリック

いろいろダウンロードされ、そのようすがコンソールにでる。

とでたら、Rコマンダーがたちあがった。

次回からは、library(Rcmdr)でOK

---

ここからさきは、別の機会に説明する。

統計処理のRのダウンロードとインストール

Rコマンダーを見せたい。
ので、まずRをダウンロードして、インストールする。

---

■Rのダウンロード
筑波大学ミラーや統計数理研究所ミラーなどからダウンロードする。

今回は、筑波から。Windows版をダウンロード
筑波大学ミラーサイトで「Download R for Windows」→「base」の「install R for the first time.」をクリックすると

R-3.1.0 for Windows (32/64 bit)
http://cran.md.tsukuba.ac.jp/

に「今日の時点では」飛ぶ。そこで、
Download R 3.1.0 for Windows (54 megabytes, 32/64 bit)をクリックする。

exeファイルなので、「実行または保存しますか？」とブラウザに聞かれた。

「保存する」をクリックして、保存する。

---

■インストール

保存したのは、インストーラー。保存したファイル（私はファイル名R-3.1.0-win (1).exeになっていた）をダブルクリック。

「セットアップに使用する言語の選択」ダイアログで
　　「日本語」になっていることを確認
　　OKをクリック

「R for Windows3.1.0セットアップウィザードの開始」
　　次へをクリック

「R for Windows3.1.0セットアップ」
　「情報」でいろんな英語が出てきているところ
　　次へをクリック

　「インストール先の指定」
　　変更する必要がなければ
　　次へをクリック

　　「コンポーネントの選択」
　　チェックされているので「次へ」をクリック
　　でもいいし、上のコンボボックスで
　　「利用者向けインストール」ではなく、３２bit,64bitを選んでもよい
　　次へ

　　「起動時オプション」
　　いいえ（デフォルトのまま）で「次へ」

　　「プログラムグループの指定」
　　直さずに「次へ」

　　「追加タスクの選択」
　　直さずに「次へ」

　　「インストール状況」が出て、インストールが開始される。

　「Rfor Windows3.1.0セットアップウィザードの完了」がでるので「完了」ボタンをクリック

---

■Rの立ち上げ
Rのショートカットができているので、ダブルクリック

R Consoleというウィンドウがでて、そこに

R version 3.1.0 (2014-04-10) -- "Spring Dance"
Copyright (C) 2014 The R Foundation for Statistical Computing
Platform: x86_64-w64-mingw32/x64 (64-bit)

R は、自由なソフトウェアであり、「完全に無保証」です。 
 一定の条件に従えば、自由にこれを再配布することができます。 
 配布条件の詳細に関しては、'license()' あるいは 'licence()' と入力してください。 

R は多くの貢献者による共同プロジェクトです。 
 詳しくは 'contributors()' と入力してください。 
 また、R や R のパッケージを出版物で引用する際の形式については 
 'citation()' と入力してください。 

 'demo()' と入力すればデモをみることができます。 
 'help()' とすればオンラインヘルプが出ます。 
 'help.start()' で HTML ブラウザによるヘルプがみられます。 
 'q()' と入力すれば R を終了します。

と出てきたあと、プロンプト（＞）が出ればOK

「携帯電話税」って、マジ（＠＿＠！）

いや、そりゃ～財源としては大きいけどさあ・・・


携帯電話課税で議連設立　自民有志、秋に提言http://sankei.jp.msn.com/politics/news/140618/plc14061818070021-n1.htm


その記事に欧州ではパソコン一台一台に課税する事例もありってあるけど、そういうの、見習わなくていいから・・・

ネットでの反応はこちら

アマゾンの３Ｄスマホ、カメラを物体に向ける→ネットの通販サイト表示

この前書いたアマゾン３Ｄスマホですが、
カメラを実際の物体に向けると、ネット上の通販サイトなどが表示される
そうです

アマゾン、約２万円の３Ｄスマホ　通販サイトと連動http://www.nikkei.com/article/DGXNASGN1801D_Y4A610C1000000/

（上記太字は上記サイトより引用）