派遣法改正になると、SESがさらに増えるんですかね・・・

“頼れる”派遣技術者、存亡の危機
http://itpro.nikkeibp.co.jp/article/Watcher/20140326/546348/?mle

にも書いてあるけど、派遣法が変わる（「専門26業務」からすべての業務へ拡大、同一労働者同一職場の期限は上限3年）と、派遣からSESに変わるっていうのが多いんでしょうね。

もちろん、ユーザー企業だと、派遣の人にフリーになってもらって直接契約も
アリだとは思うけど・・・実質、派遣企業がSESに変えるっていうのが多いんじゃないかな？

そうすると、問題なのは、SESをどうするか・・・だよねえ・・・
あれって結構脱法とまではいわないにしても、
不透明なわけでして・・・

・・・SESまでも、何らかの形で厚生労働省が踏み込んでくると、
（たとえば、SESという名の偽装派遣をしていないか厚生労働省がチェックすると）
今のSESの契約にも影響してくるわけで・・・

Java9ではＨＳＡ（ＣＰＵとＧＰＵ連携）で、ＧＰＵアクセラレーションが容易になるらしい

Java9ではＨＳＡ（ＣＰＵとＧＰＵ連携）で、ＧＰＵアクセラレーションが容易になるらしい

２月２８日、OSC 2014 Tokyo/Springにいってきて

新OPTERONプロセッサーによる
クラウド製品戦略と今後
AMD　林さん

を聞いてきた。その内容をメモメモ

---

AMDの最新状況
クラウド時代に向けた製品ロードマップ
ソフトウェア・エコシステムとHSA
　　：

AMDは
「最新のマイクロプロセッサーとグラフックス技術を提供する業界のリーダー」
X86　AMDとインテル
グラフィックス　AMDとえぬびでぃあ
優位性：両方の最適化

競合他社との立ち位置が・・・
２０１２年　SeaMicroを買収：インテルさんも扱ってる→協業？
２０１２年　ヘテロジニアスシステムアーキテクチャ
２０１２年　ＡＲＭと６４ビット向けプロセッサ共同開発
２０１３年　ソニーＡＰＵ採用：プレステ４も→マイクロソフトも
　→最近はゲーム会社支援、協業
２０１３年　次世代ＭａｃＰｒｏ（７Ｔフロップス）にＡＭＤ
２０１３年　ｘ８６系　ムーンショットにＡＰＵ
モバイルからサーバーまでマルチメディアエンジン
→ピクセルデータ、ＧＰＵのほうが消費電力

２０１４年から大きく変わるＡＭＤ　４つの新たな成長戦略
・組み込み市場／セミカスタム：２％→２５％へ！（プレステ４のおかげ）
・グラフィックス：タブレット　ＣＡＤ，組み込み　ＧＰＵパススルー
・低消費電力＆高密度サーバー：クラウドセンター向け
・Ｎｅｗクライアントビジネス：ハイブリットタイプなど・・よくわからん？
→いままで２割を５割へ

新規ユーザー、新デバイス、新アプリケーションが
　クラウドコンピューティングを爆発的に拡大させる
・処理はデータセンター

コンピューティング、ネットワーク、ストレージにおける根本的な変化
・いままでＦＡＴコア→仮想化しても６割以上、電気使う
　　いろいろ
　　　　メディアデータセンター：新しいプロセッサー
　　　　セキュリティ：リモートデスクトップ
　　　　ゲームのクラウド化

新しい環境へ、新しいＡＭＤサーバー成長戦略
新しい環境へ、まったく新しいＡＭＤサーバー
Ｘ８６ビジネスも続ける
それにぷらす
ＡＲＭ系

ＡＲＭを使うためのＬｉｎｕｘ
ＯｐｅｎＣｏｍｐｕｔｅプロジェクト

ロードマップ
・ＡＭＤ　ＯＰＴＥＲＯＮサーバー

２ラインナップ
　　Ｏｐｔｒｏｎ　６３００　４３００
　　ワルシャワ低消費電力、低価格版

クラウド向け新ラインナップ
　　きょうと　３３００
　　べるりん＝きゃべり：新しいタイプのＡＰＵ
　　ＡＲＭ系（seatte)

３種類のＯＰＴＥＲＯＮ
　・クラウド・メガデータセンター
　・メディアクラスターＡＰＵ
　・計算クラスター　Ｘ８６ＣＰＵ／ＡＰＵ

ソフトウェアエコシステムとＨＳＡ
・ソフトウェアエコシステムパートナー
　　　ＯｐｅｎＳｔａｃｋ
　　　Ｌｉｎａｒｏ
　　ＡＰＵでＪａｖａ＝プロジェクト　すまとら

ＡＭＤ　ＳＥＡＭＩＣＲＯ＝OpenStack認証サーバー
　　ベアメタルも対応
　　日本ではＮｅｔＯｎｅ，ＣＴＣ

ＨＳＡ
　　ＣＰＵとＧＰＵをシームレスに連携
　　ＧＰＵでも汎用演算
　　メモリ空間も統合
　→ベルリン（今年６月から）飛躍的に性能が上がる

ＢＥＲＬＩＮ　ＡＰＵプロセッサーのＨＳＡ機能
　　ＨＵＭＡ　ヘテロジニアスなメモリアドレス
　→ＣＰＵ，ＧＰＵ
　　　ヘテロジニアスキューイング
　ＨＳＡ財団：世界の３分の２の半導体供給

アクティブに
Ｌｉｎａｒｏから
　　→fedora,Ubuntu　
　　　　→ＬＡＭＰＳ，OpenＪＤＫ　　

Ｊａｖａについて
　　Ｏｒａｃｌｅと協業：Ｊａｖａ９になるとＨＳＡシームレスに！！
　　ＪａｖａでＧＰＵアクセラレーション
　　すまとら＋ＨＳＡ：８倍、１０倍、１２倍

ＯｐｅｎＣＶ、Ｂｏｌｔなども強化

京都（ＨＳＡにはまだ対応していない）
・４コア　Ｊａｐａｎコア
・クロック：全クロックＯｎｅプライス
　　→なぜなら、ＢＩＯＳでクロックをかえられるから
　最小１１ワット、最大２５ワット
→ＨＰ　Moonshot

ＶＤＩはいままで仮想的に分けていた
Moonshotはもう１ノード１→ＨＤＩ

電力、スペース、ネットワークの解
　　次世代のホステット、デスクトップ、クラウドゲームへ

ＨＳＡによる開発環境は？
・きゃべりのプラットフォームでハード入手
・ＯｐｅｎＣＬの新しいバージョン
　　→デベロッパーサイトで

OpenStackのインストール方法（DevStackによる）

※検索で、表題の内容について知りたくて来た人へ--------------------
このブログの以下の内容には、抜けがあります。

聞いてきた講演のプレゼン資料
http://www.slideshare.net/VirtualTech-JP/openstack-havanadevstack

や

OpenStack構築手順書
http://enterprisecloud.jp/installguide-openstack/

を参考にされたほうが良いと思います。
--------------以上、おしらせ-----------------

で、２月２８日、OSC 2014 Tokyo/Springにいってきて

OpenStackで始めるクラウド環境構築入門

を聞いてきた。

その内容をメモメモ

---

OpenStack
IaaS環境を実現する
OpenStack概要
　　仮想マシン：Nova、Glance
　　　　管理
認証：KeyStone
ブロックデバイス：しんだー
管理：ほらいぞん
おぶじぇくとすとれーじ：すいふと
ネットワーク提供：にゅーとろん
自動化：ひーと、せーろめーたー

基本、MQ,RESTで相互接続：大規模システムがつくりやすい（スケールアウト）
AWSにインスパイヤ
CloudStack：小規模、中規模を今すぐ
OpenStack:大規模

今回の方針
UbuntuServer12.04+DevStack

DevStack
OpenStackの開発環境を容易に構築
必要ならapt
all in one
Floating IP

Ubuntu Serverのインストール
・普通にやると、デスクトップになってしまうので注意
・英語で
・KVMを有効に
・デスクトップ環境
・仮想マシンマネージャー
・固定のIPアドレス

ベースOSのインストール
・コンポーネント
　　OpenSSH,Virtual Machine Host(KVM)
　・バートマネージャー

固定IPアドレスの設定
　/etc/network/interfaces
　　　さいごのS
　スクリプト直接/etc/init.d/networking restart、もしくは再起動

各種コンポーネント
１．gitのインストール
２．DevStackのソース取得
　　Havanaを使うようにブランチを設定
３．DevStackのソース設定
　　　~/devstack/localrcにさまざまなな設定
　　FixedIPとFloatingIP
　　　FIXEDレンジ
　　　２と３をNATする：Floating IP
４．stach.shの実行
　　　ダウンロード：４０分くらい
　　　２回目で５分半
５．重要！iptablesの追加設定
　　　ゲストOSがDHCPでFixedIPを取得しようとするがエラーになる
　　　iptablesコマンドを実行
　　→今後はニュートロン
６．ちいさいOS(cittos：しろす）が入っている

Demo
プロジェクト・テナント：ユーザー＋グループ

インスタンスの起動
・イメージとスナップショットから
　　フレーバー：Ubuntu CentOSはSmallでないと動かない
・しろすは管理パスワードいらない
・SSHは起動ごとに消えてしまう
・おかしかったら、すぐにエラーとでる
・iptablesを設定しないと、udhcpでおかしくなる

いくつかTip
・停止 ./unstack.sh
・インターネット接続必要になった
・stach.shの中身にいろいろ

７.Floating IP
・アドレス＋ポート：セキュリティグループ
　　→ルールの追加
　　　ALL TCP
　ダッシュボードはふったつもりになってる

いくつかの宿題
・ニュートロン：openvswitchを失敗するとき
・初心者向けではなくなってきている
・手順書ダウンロードできるEnterpriseCloud.jp

LinuxのCentOSで、WindowsのExeファイルを動かすには？（１）

ということを今日聞かれて、とっさにwineと答えたんだけど、
できるかな？と思って確認したら、えらいめんどくさかったので、
メモメモ

---

■やること概要（１）

WineをCent OSにインストールすればいいんだけど、
yum install wine
では、うまくいかない。
理由の１つは、wineはrpmforgeとかにあり、標準のリポジトリにないことにある。
なので、この理由を解決してインストールするには

・rpmforgeをインストール
・yumをrpmforgeを見るようにしてインストール

となる。

では、ここまでやってみよう

---

■rpmforgeをインストール

まず、どれをインストールしたらいいか確認するため、バージョン確認

cat /etc/redhat-release

CentOS release 6.4 (Final)

と出てきたので、CentOS6用をインストール

rpm -Uvh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.i686.rpm

リポジトリが登録されたか確認

cd /etc/yum.repos.d/

ls

CentOS-Base.repo       CentOS-Vault.repo        mirrors-rpmforge-testing

CentOS-Debuginfo.repo  mirrors-rpmforge         rpmforge.repo

CentOS-Media.repo      mirrors-rpmforge-extras

というかんじで、rpmforgeっぽいのが入ってる。OK

---

■とりあえずyum

ここでyumをrpmforgeを見るようにしてインストール

yum --enablerepo=rpmforge install wine

すると、いろいろ出て、結局

Error: Package: wine-1.6.1-1.el6.rf.i686 (rpmforge)

           Requires: wine-gecko = 1.4

           Available: wine-gecko-1.0.0-1.nodist.rf.i386 (rpmforge)

               wine-gecko = 1.0.0-1.nodist.rf

           Available: wine-gecko-1.9-1.nodist.rf.i386 (rpmforge)

               wine-gecko = 1.9-1.nodist.rf

 You could try using --skip-broken to work around the problem

 You could try running: rpm -Va --nofiles --nodigest

となって失敗する
wine-geckoの1.4がないらしい。

---

■やること概要（２）

ということで、wine-geckoの1.4を入れてからインストールする
つまり、
・wine-geckoの1.4ダウンロードとインストール
・もう一度yumをrpmforgeを見るようにしてインストール

する。以下詳細説明

---

■wine-geckoの1.4ダウンロードとインストール


http://pkgs.org/centos-6/repoforge-testing-i386/wine-gecko-1.4-1.nodist.rft.i386.rpm.html
にいって、wine-geckoの1.4をダウンロードしてきた

そこで、ダウンロード先に行って、rpmでインストール

rpm -Uvh wine-gecko-1.4-1.nodist.rft.i386.rpm

---

■もう一度yumをrpmforgeを見るようにしてインストール
ここで、再度yumをrpmforgeを見るようにしてインストール

yum --enablerepo=rpmforge install wine

いろいろ出てくるが、最終的に

Complete!

と出てくる。

---

■実行すると・・・

そこで

wine notepad

と入力して、Notepadを実行しようとすると・・・

と出てくる。Installする

このあと、まったく同じように、geckoのインストールを
聞いてくるのでInstallする

そうすると、

と出てくる。


力尽きた・・・exeファイル起動は次回

---

■参考サイト

・CentOSのバージョン確認
http://d.hatena.ne.jp/yokococon/20070206

・リポジトリの追加・削除、無効・有効の設定をしてみる
http://server-setting.info/centos/repository-setting.html

・wine をインストールしてWindowsアプリを動作させてみる
http://server-setting.info/centos/wine-install.html

DevOps実現のために必要なツールたち

日経システム２０１４年３月号

DevOpsツールで実現するタイムリー開発

の２６、２７ページにDevOps実現のために必要なツールたち
一覧が載っているので、その中のOSSだけを抜き出して
メモメモ

---

■作業自動化ツール
・CIツール
　Jenkins

・ビルドツール
　Ant,Maven

・デプロイツール
　Capistrano,Fabric

・環境構築ツール
　Ansible,Chef,Puppet,Salt

・テストツール
　Checkstyle,PMD,,Selenium,Capybara,FindBugs,xUnit,Rspec,Selenium,Capybara,Canoo Web Test,
　Geb,serverspec,Tempest

・運用手順自動化ツール
　　オープンソースではなし
　　（Systemwalker Runboot Automation,WebSAM JobCenter,JP1/Automatic Operationなど）

・障害監視ツール
　　Zabbix,Nagios,Murin,God,mon

■協業支援ツール
・成果物の一元管理
　バージョン管理ツール
　　Bazaar,Gt,Subversion

　文書管理ツール
　　Wiki

　コードレビューツール
　　Gerrit,Review Board

・ステータスの一元管理
　チケット管理ツール
　　Bugzilla,CandyCane,Mantis,RedMine,Trac

・コミュニケーション
　チャットツール
　　IRC

　テレビ会議ツール
　　オープンソースではなし
　　(Skypeなど）

・ログ分析
　ログ分析ツール
　　　Kibana,Elasticsearch,munin

　ログ収集
　　　Fluentd

---

なかんじだった。「運用手順自動化ツール」がなかったけど、
crontabからシェルを呼ぶんじゃ、だめなんすかねえ（＾＾；）？
　　

たしかに、マイグレーションのチェックシステムは必要だよね！

NTT R＆Dフォーラムであった、TUBAMEというオープンソースのシステム、


TUBAME
http://tubame.github.io/migration-tool/index_ja.html


これは、（以下太字は、上記サイトより引用）

商用APサーバからJBoss、またはJBoss同士のマイグレーション時に必要な修正箇所の抽出や修正工数の算出ができるツール


とのこと。つまり、移植するとき、ソースコードと設定ファイルを入れると

（１）どこを修正するべきか
（２）どうやって修正するべきか
（３）どのくらいの工数がかかるか

をナレッジベースから検索して教えてくれるシステムらしい。

（３）は、オープンにされても。。。ってことはあるけど、
（１）、（２）、特に（１）は、公開して、みんなで利用／追加できるようにするといいよね！
たとえば、Tomcat6からTomcat７に移行したい、TomcatからJavaEEに移行したい
というとき、どういうことが必要になるのかというのは、
みんなが、必要な情報なので、
こういうマイグレーションのチェックシステムは、必要だよね。

SRAとかNRIとか、公開して、やんないんですかねえ？
（（１）を公開して、（２）、（３）を有償にすればよい）

ビッグメディアの探索と活用

　NTT R&Dフォーラム2014で、

ビッグメディアの探索と活用
～パターン認識・メディア理解研究の最前線～

を聞いてきた。その内容をメモメモ

---

■身の回りのメディア認識技術
　　自動販売機
　　自動運転
　　ドコモ「うつして翻訳」
　→裏には、ビッグメディア

■あふれるメディア
　　動画・画像　Youtube,Flickr,Facebook（で投稿される写真）
　　モニタカメラ

■パターン認識
　大きく分けて２つ

例１：猫を（犬と）識別する
　　→(犬と猫間の）線を引く、領域に入っているか？
　　→種類（ねこ）の認識・一般物
　　つまり　：　学習→識別

例２：うちのねこを認識する
　　→線をひかずに、一番近いものをとってくる
　　→特定のモノの認識＝２種類
　　　　　特定物：うちのねこ
　　　　　特定メディア：うちのねこの写真
　　つまり：　蓄積→探索

■ビッグメディア・アプローチ
　　ビッグデータ・ビッグメディアがもたらすもの
　　　　勘と経験　→データ集積
　　　　モデル　　→モデル＋現実
　　　　同種単一　→異種・複合（クロス分析）

■集積は驚くほど強力
・さいころを振るより、少しましな答えをするもの
　　→よい結果になる
・高速で精度の低い識別を多数用意し
　　→多数決で

■ロバストメディア探索技術の仕組み（２００３）
・RMS(Robust Media Search)
　　＝NTTが開発した、音、映像、の高速探索技術
　特徴：粗く量子化された、局所特徴の照合と集積
　　特徴データベース、特徴抽出
　→１０ｍｓの単位で変化に耐えられるように

・大規模ニューラルネットワーク

・RMSの進化とCo-Innovation
　アクティブ探索（LAS)
　RMS
　マッシブリクエスト
　　（すまん、これが、第０世代、１、２、３世代とキレイにならんで
　　　いろいろ書いてあったと思うが、写しきれなかった）

・フィールド
　　RMSサービスメニュー
　　　　全曲報告サービス
　　　　リアルタイムコンテンツマッチングサービス
　　　　ダブルスクリーンサービスなど・・・
　　（たしか、メモし切れていない。今見ると、何を書いたか、よくわからん＾＾；）

---

ごめん、キレイにメモしてなくて、よ～わからん。
間違えているところ、ありそうだけど、ごめん・・

クラウドサービス利用のための情報セキュリティマネジメントガイドラインとISO27017

デブサミ２０１４に行ってきた！シリーズ

２月１４日のE1セッション

クラウド時代のセキュリティガバナンス〜情報管理機能の実装とセキュリティ
を途中から聞いてきた。

途中からメモメモ

---

■組織づくり
　経営陣にスタッフの行動が伝わらなければいけない
　　日報むだ→経営陣にあがってくるのが２週間とか
　　→ITでサポート

　・社長はなにもしらない

・事業計画→KPI→げんばからの情報収集
　　リアルタイムに集計→高い
　　リソースを集め、再分配する→クラウドのはじまり
　　→サービス評価

■セキュリティも同じ
　ISMS：組織のセキュリティ
　　→クラウドも把握したい
　　→ログは遅い。予測したい（事故ゼロは結果論）

・情報セキュリティもKPIが重要
　　事故がおきるかもしれないことを氏って準備
　　ステータス把握できるAPI
　　　→ダッシュボードに纏め上げられる→システムに使える

・保証のため、クラウドサービスができること
　　個人情報は誰のもの？
　　　ベンダーが守るもの？
　　　本人のもの
　　　　→本人が情報オーナー；「自己コントロール権」
　　　　→自己コントロール権の対応した情報管理
　　　→ちゃんとした手順で個人情報を得る
　　　　　→自己コントロール権を守るため

・重要なのはIDマネジメント
　保証の基本は「説明責任（アカウンタビリティ）」
　　→説明の根拠
　サポートされる、証明できるプロバイダ

・誰が、いつ、何をしたか
　　→誰がか特定できること
　　１人１ID与えられないのは安全管理ではないby 裁判所

・何ができるか：認可
　IDマネジメントは一元管理が望ましい
　　IDの紐付け（名寄せ）ができないと・・・
　→IDフェデレーション
　　　Active Directory on Azure,Google+
　　　　→組織全体把握

■パスワードはどんなに複雑にしてもX
　　複雑を考えること自体X
　　→複雑パスワードコンテストしたとして、最高なものって？
　　→悪しき慣習
・毎回パスワードを変える？
　→ユーザーが大変、ユーザーが楽になるためにITはある
・３種類の文字列で８文字以上
　→ルールがあるから、攻撃者有利

・ずぶずぶのところ（泉という）が狙われる
　　小さなソフトハウス：パスワードを取得
　　　　→パスワード辞書をつくる
　　大きな会社を狙う
　　　　→マスコミで取り上げられ、広まる
　　中堅の会社から、カネをとる
　　　　→ああなりたくなかったら・；・・

・２要素認証、２段階認証、ハードウェア認証
　　→IDフェデレーション
　　　　　自分たちでID管理やらない

■暗号化するなら、鍵管理をしっかり
　１つのサイトに鍵管理をたよると。。。
　データと管理は別
　　→鍵の管理、暗号化、有効性確認の分離
FinQloud

■生のログ→よまない
　　これからは、ダッシュボード
　　リモートジャーナリング
　　ログにデジタル署名

■動的バックアップ
　プロビジョニング
　IaaSならば、パラレルでバックアップ
　寝かせておくインスタンスの活用
　SaaSでは、ポータビリティを考えたデータのバックアップ
　　バックアップ＝影に出てくる

■クラウドセキュリティガイドライン
　→国際標準化ISO２７０１７
　→ISOの国際認証がはじまる
　→事業者からサービス単位に

■クラウドで儲けよう By 経済産業省＊
　　２０２０年　４０兆円
　　ヘルスケア
　　１ to １の復活

・前でも後ろでも、パーツになれば・・・


＊たぶん、

ここ

「クラウドコンピューティングと日本の競争力に関する研究会」報告書
http://www.meti.go.jp/press/20100816001/20100816001-3.pdf

の６４ページ

ビッグデータのリアルタイム処理プラットフォーム－Storm

デブサミ２０１４に行ってきた！シリーズ

２月１３日のE5セッション

Stormで実現するビッグデータのリアルタイム処理プラットフォーム
～ストリームデータ処理から機械学習まで～

をメモメモ

---

■自己紹介
@takanorig

■今日のストーリー
・ビッグデータとリアルタイム
・Storm
・アーキテクチャ

■ビッグデータXリアルタイム
・６０秒間
　　Twitter
　　Facebook
　　Skype
・なぜ、リアルタイムが必要なのか
　　Internet Of Things：モノのインターネット

・ビッグデータ関連プロダクトのパラダイム
２００３　
２００４　MapReduce
２００５　BigTable
２０１０　BigQuery

オープンソース
２００７　Hadoop
２００８　Hbase
２０１１　Twitter Storm
２０１３　Drill
→リアルタイム性が求められている

・これまでのビッグデータ処理
　　ログ解析
　　レコメンドエンジン
　→主にバッチで処理する機能

・今もとめれれる
　　不正利用
　　センサーデータ
　　災害時
　　ユーザー直近行動のレコメンド
　→リアルタイム処理

ビッグデータ処理の３つのタイプ（レイテンシー順）
　　・バッチ
　　・クエリー
　　・ストリーム

→要件に応じて単体Or組み合わせ

プロダクト
・バッチ：Hadoop
・インタラクティブクエリー：Drill,Impala。Stinger、Presto
・ストリームデータ処理：Storm、Spark Stream

ストリームデータ処理とは
　連続的に発生し続けるデータ（ストリームデータ）をリアルタイムに
解析分析などの処理をおこないつづける

＜＜適用モデル＞＞
・大量データの事前処理（正確性）
・リアルタイムデータ集計
・センサーデータの集計／分析
・セキュリティ

■ストリームデータ処理を実現するStorm
Stormとは
　分散し、耐障害性の高いリアルタイム処理
・Twitterがオープンソースとして公開した分散リアルタイム処理フレームワーク
・ストリームデータ処理を実現するための代表的なOSS
　　→コアエンジンはClojure、コンポーネントはJava,Scala,Rubyなど
・導入事例
　　ぐるーぽん、ありばば、

７つの特徴
１．簡単な統合（Integrates)
２．シンプルなAPI（SimpleAPI)
３．スケーラブル
４．耐障害性（フォルト・トレランス）
５．欠損のないデータ処理（Guarantees data processing）
６．複数の開発言語サポート（Use With any language）
７．簡単なデプロイ、運用（Easy to deploy and oparate)

Stormのクラスタ
nimbus Node→ZooKeeper→Supervisor→worker
パフォーマンスをあげるには、Workerを増やす

Storm　トポロジー（全体）
・SpoutとBoltをつなぐ
　ながれがStream
タプル：処理されるメッセージ

キーフィーチャー
１．ストリームグルーピング
２．Distributed RPC
３．トランザクション的
４．Trident：複数まとめて、CEPのような処理
５．メトリクス：内部情報とれる

パフォーマンス
０．８のとき、１秒間で３０００００タプル
１６４万（Twiotterで）

■ストリームデータ処理のアーキテクチャ

ポイント
１．大量データの収集方法
２．増減するストリームデータの対応
３．分散処理
４．中間データ

データ発生元
　　→データ受信部
　　　　→メッセージキューにためる
　　　　　　→データ処理部：
　　　　　　　　　→RDBとかにいれる

※注意：標準偏差は分散できない
　中間データはキャッシュとして保存

事例：
　Infochimps社のリアルタイム分析サービス
　Loggly社のログマネジメントサービス
　　　データの振り分け、など
　クラウド上でセンサーデータをリアルタイム処理
　　　かさんどらでためて、データ集計
　Something+Storm
　　　YARN＋Storm：Storm　on YARN
　　　amazon kinesis with storm
　　　　→kinesisは収集が中心
　Stormでオンライン機械学習 Stream - ML
　　　AcroMUSASHI Stream　１月３０日リリース
　　　　→インメモリDBに格納
　　モチベーション
　　（１）イベント処理→CEP→機械学習
　　　　　on ストリームデータ処理
　　（２）スケーラブル＋高信頼性
　　特徴
　　　スケーラビリティ
　　　データ処理全体のリアルタイム処理
　　　クラスタリング
　　　はずれ値
　　　変化店

バッチとリアルタイムのハイブリッド
　ラムダアーキテクチャ
　　　　Batch Layer+Speed Layer→serving Layer
　　　　Hadoop+Storm→いんぱらとか

■まとめ
Stormはストリームデータ処理を簡単に実現するフレームワーク
AcroMUSASHI Stream使ってみてください

WebサイトセキュリティとSSLの進化

デブサミ２０１４に行ってきた！シリーズ

暗号破りに新たな攻撃！
進化する脅威に対抗するためのWebサイトセキュリティとSSLの進化

をメモメモ

---

■電子証明書－現代ネット社会の安全を守る鍵
　　SSLサーバー証明書
　　コードサイニング証明書
　　セキュアメールID
→すべてに暗号技術

■SSLサーバー証明書
　　ハッシュアルゴリズムの行こう

・認証局とSSLの仕組み

・SSLを支える技術
　　公開鍵暗号：実在性の証明
　　共通鍵暗号：ブラウザまでの暗号化通信
　　ハッシュアルゴリズム：改ざん検知

・ハッシュアルゴリズムとは
　　封筒に封字するような行為
　　通信経路上で改ざんされていないか、受け取ったデータが壊れていないか確認

・ショッピングサイト

・暗号の世代交代の必要性
昔：MD5→Sha1→Sha2へ
公開鍵：暗号の２０１０年問題→移行終了

・暗号の世代交代で考慮すべきこと
　　暗号強度を上げるほど、エンドユーザのカバレッジは低くなる
　　　　→対応していない
　　　　→時間が解決するけど

・ハッシュアルゴリズム移行の背景
　　PCIDSS,NISC,
　マイクロソフトのアナウンス
　　SHA-1発行終了

・SHA1を使い続けると
　　・偽証明書による成りすまし証明書
　　・赤く表示され、見えなくなる

・シマンテックの移行方針
　購入できる
　・SHA1もかえる
　・SHA2もかえる

・求められるアクション
　　SHA2の検証→運営できるか

・各種プラットフォームの対応状況
　　今のは対応→古いものだと・・・
　　古い携帯電話は足かせ

・ECC(楕円曲線暗号）
　　RSAよりカバレッジ低い

■コードサイニング証明書
・SSLとおなじ。対策要る
・証明書は３年だが、コードサイニングは２年
　　→前倒しで

■セキュアメールID
・同様な対応、SSLとおなじく３年

■ウェブサイト攻撃の最新動向
・SSLに新しい機能をつけてうっている

・Webさいとの攻撃増加
　・攻撃ツールが手に入りやすくなった
　　→だれでも攻撃

・決して大手企業だけの脅威ではない

・情報漏えいの影響
　　　損害賠償
　　　調査、再構築
　　　風評被害

・９８％のウェブサイトが何らかの脆弱性を抱えている
　　危険度高も３分の２

・新たな手口の追加

・攻撃手法はさまざま
　　Struts2の脆弱性
　　SQLインじぇくしょん
　　パスワードリスト攻撃
　　　：
　　　：

・覚えられるIDパスワード・２～３組→使いまわし

Webサイト攻撃対策
・自分は受けないと思う

セキュリティを考慮した設計
セキュアコーディング
脆弱性診断
脆弱性診断・WAF

・約４８％が脆弱性対策に３ヶ月以上

・なぜ？
　SSL証明書にマルウェアスキャンをつけている

　EVSSL証明書、グローバルサーバID
　　　→クローリング→脆弱性アセスメントレポート

・いかに守るか
　ゲートウェイ方セキュリティ俯瞰図
　　　IDS/IPS
　　　UTM
　　→WAF
・事例：自民党
　　→グリーンバーになる

・従来型WAFとクラウド型WAF
　→価格と運用
　→すぐに入れたい場合
　→不正ログインも

グリーを支えるデータ分析基盤の過去と現在

デブサミ２０１４に行ってきた！シリーズ

２月１４日のB2セッション

グリーを支えるデータ分析基盤の過去と現在

を聞いてきたので、メモメモ

---

■自己紹介
東工大（博士）→助手＆特任准教授→グリー

■過去の話
２０１１年：ログデータなど
Webサーバー→ストレージ→バッチ→一部MuySQLにはいる
→集計結果を

２０１２年
Analytics DB（生データ）
　　→アドホックな分析

だんだん困った
・データをほしい人が増えてきた
　　理由：サービスが増えた、人が増えた
・データ提供が正直しんどくなってきた

■今の話
・コンセプト
　アクセサビリティ
　　　誰でも自由に
　スケーラビリティ
　　　どれだけ溜め込んでも

・ゲーム
　　・トレジャーデータベース
　　　ゲームへのアクセスログ

　　・Gree Platform
　　　　Hadoopベース
　　　　　ゲームからAPIのログ
　　　　　ユーザー情報

・ゲームのデータ分析基盤
　　Treasure Dataベース
・Hadoopクラスタ構築不要
・ログのコレクトからストアまで
　　fluentdのぷラフイン
・スキーマレス：ゲームは変わりやすい
　　time int v map<string ,string>
・データウェアハウス
・BIツール

基本構成
　　Web サーバー（fluentd）→ログ・アグリゲータであつめて→とレジャーさんへ

ダッシュボードを使って通知

データを使って何をやるか大事
・ログデータをゲームカイゼンのアクションにつなげる
　　・アクセス遷移分析
　　　　・Webサイト分析では、一般的な手法を
　　　　　ソーシャルゲームに導入

・ジョブ管理をしっかりする
　　・ジョブ管理ツール

アクセス遷移分析
・ページ遷移
　　起点のページから何割のユーザーが目的のページへ
・離脱
　　離脱率の高いステップは？
・クリック

事例
・ページ遷移分析：スムーズに？可視化
・離脱分析：ページ遷移＋ユーザーセグメント
・クリック分析：UI,UXのカイゼンに
　　→実画面の上に載せる（spanタグで）
　　ランキング：どれくらいクリックされるかを、オーバーレイ
・ジョブ管理ツール
　　ユーザーに公開：遅いクエリー投げられる
　　とれじゃーさんのAPIで
　　　→ジョブ可視化、killできる
　　クエリ実行の際に送信者を自動付与
　　式一以上時間のかかっているジョブの統計と一覧を表示

まとめ
・バックエンドはトレジャーさんつかってます
・ログデータをゲームカイゼンのアクションに
　　・アクセス遷移分析
・ジョブ管理をしっかりする
　　・ジョブ管理ツール

＜＜Gree　Platform>>
・Hadoopベース
　　データベースサーバー　fkuentdで流し込む
　　DBから、とりこむ
　　WebHDFS,HDFS
　　MR
　　Hive Presto Macaron
　　azkaban

・JDK7+CDH4+A派ちぇHive（V0.12+α）
　　・HiveServer2
　　・追加パッチ
　　　　Kryo

・独自拡張
　　・社内認証システムとの連携
　　・auto-load extra UDFs

・利用状況
　　５０００ジョブ／日
　　６０TB（圧縮した状態、レプリカ除く）
　　１００ユーザー（ほとんどが非エンジニア）

・データへのアクセス方法
　　直接アクセス
　　　SQuirreLSQL
　　　JDBC,ODBC接続できるものなら
　　グラフ化
　　　Macaron（自社製）
　　その他
　　　Shell,Python,R,PHP
　　　→Thriftのおかげ

・SQuirrlSQL
・Macaron
　　データのグラフ化
　　RDB/Hiveに対応
　　キャッシュ機能
　　出力：画像、HTML
・Ruby Scripting in Hive Query Language
　　HQLの中にRubyのコードを埋め込む
　　　→HQL（SQL)で書きにくいクエリを処理できる

・データのインポート
　　ログデータのインポート
　　　　ハイブリッド：Bulk copy＋Streaming log events
　　　　Fluentd&WebHDFS(まだ不安定）

　　MySQLからのインポート：db-express
　　　・SQoopのラッパー
　　　・Cooperation w/in-house DSN catalog
　　　・Parallel import Shared DB/Tables

　　手動インポート
　　　ブラウザからアップデート

まとめ
　Greeプラットホームは、Hadoopをベースに自作


■近い未来の話

コンセプト
　　より速く
　　より高度に　

機能
　　ダッシュボードBI
　　データカタログ
　　ジョブ管理、ワークフロー
　　クエリ：Spark
　　分散処理：presto
　　分散ファイルシステム　

YARN
　　リソース管理をやりやすく
　　Spark

Presto http://prestodb.io/
・OSSな分散SQLエンジン
　　　Hiveよりも早い（パフォーマンス的にはimpala）
　　　FaceBookが開発
　なせ、impalaにしない
　　→メモリの使い方
　　　Presto：社内環境に合わせるのに、ソースオープンなのでメリット

Spark
　データ処理フレームワーク
　MRより早い（非同期のMR)
　　機械学習で最適

アクセサビリティ、スケーラビリティ
　　ゲーム：とれじゃーさん
　　プラットホーム：Hadoop

スピーディ、インテリジェントリー
　　クエリの高速化
　　機械学習を利用したデータの活用

mBaaS（モバイル・バックエンド・アズ・ア・サービス）＝会員登録、Pushとか

デブサミ２０１４に行ってきた！シリーズ

２月１３日のB6セッション

mobile backend活用
事例から見る「これからのスマホアプリ開発とクラウドの展望」
ニフティ

をメモメモ

---

■自己紹介、会社紹介
・スマホアプリ
　　ニフティたくさん出してる
　　　@niftyニュースアプリ
　　　ハロー木ティーワールド
・クラウド
　　ニフティクラウド　主力商品はIaaS
　　面倒なインフラ工t５位区がIaaSで

■本題
・スマホアプリとクラウドコンピューティングの関係
・mBaaSのサービス、機能
・mBaaSの使い方
・ニフティの宣伝
・まとめ

■クラウドコンピューティング
　分類IaaS,PaaS,SaaS
　他にも●●aaS
　　　→BaaS　バックエンド　アズ　ア　サービス
　　　　mBaaS

・mBaaS：モバイル　バックエンド　アズ　ア　サービス
　　スマホサービス
　　　表：スマホ端末側
　　　裏：サーバー側（セキュリティ）

■どんなサービス
アメリカ
　　Parse
　　Stack Mob:マーケットプレイス

日本
　　appiaries ：PC Phase
　　Kii Cloud　：管理画面英語

クラウド
　　Amazon SNS Mobile Push
　　Google Mobile Backend Service

２０１３年　ｍBaaSの買収、提携
　日本　ｍBaaS元年

■どんな機能
・データストア：アプリのデータ一元管理（DB)
・会員管理：会員登録やパスワード再発行
・プッシュ通知：プッシュ通知の配信と開封率閲覧
・SNS連携：Twitter,Facebookでの会員登録
・ファイルストア：アプリのファイルをサーバーに保存

＜＜どんなメリットがあるの＞＞
・スマホ側、サーバ側
　プログラム言語違う、ノウハウも違う
　両方覚えるの大変、アサインするのも大変
　→サーバーをまるっと、クラウドにまかせよう

・サーバー側の開発、運用がいらない
　　・初期開発費の削減
　　・スピーディなサービス展開
　　・クライアントアプリ開発に専念

・クラウド？そんなの使うより自分が作ったほうが早い
　　→運用はどうするの？
【クラウドを使うメリット：運用が楽になる】

・アプリエンジニアのほうが人気（シフト）

■どうやって使うの
　　基本編　２種類
　　　・コントロールパネルから
　　　・SDK
　　　　　→iOS,Android,javascript

（１）データストア
　　コントロールパネルでアプリ名を登録
　　アプリケーションキーとクライアントキー発行
　　SDKをダウンロード
　　NCMB.jarをプロジェクトに追加
　　パーミッション２つ追加
　　onCreateで初期化、データ登録
　　コントロールパネルでデータ登録
　　　→コントロールパネルで操作しなくてもOK

（２）Push通知
　　GCMベースなので、GCMの利用準備
　　　　SenderIPとAPIキー
　　コントロールパネル登録
　　サービスとレシーバー設定
　　　　→チュートリアルがある
　　パーミッション追加
　　OnCreateで初期化、配信端末登録
　　コンパネから、Push通知（JSONも送れる）

→サーバーでの作業なし
　　コントロールパネルの操作とネイティブアプリ側の操作のみ

■メリット
事例交えて
・フジテレビXイーグル
　　怒涛のゲームアプリ１０００本ノック
・サンリオウェーブ
　　プッシュ通知、導入は半日、あとづけでOK
・三省堂　プッシュ通知

■デザインパターン
　　→詳しくはWebで（スライドシェアで公開）
・コンテンツ更新通知パターン
　　WebHook,RestAPI
・ユーザー間通知パターン
　　Push通知とユーザー管理
・リワード広告配信パターン
　　無料アプリ向け
・有償コンテンツ配布パターン
・O2Oキャンペーン（位置連動型コンテンツ）

■ニフティの宣伝
・なぜニフティがｍBaaS
　　今後のスマホ開発をどうするか・・・
　　　スクラッチでつくる
　　　ｍBaaS使う
　　　　→ｍBaaSを自社でやる！
　　クラウド事業　社内開発部門の要請から

・特徴
　１．商用利用に耐えうる国産サービス
　２．サポート体制
　３．高スペック
　４．SDK
　５．低額料金

・Monacaと連携

※無料で試せます！！

　

テスト自動化を見直そう

デブサミ２０１４に行ってきた！シリーズ

２月１３日のBランチセッション

テスト自動化を見直そう
自動化への投資が開発チームをクリエイティブにする


をメモメモ

---

静的解析
最近セキュリティ系

Coverity　Connectの自動テスト例
　　SeleniumのWebドライバを使って３０００ケースくらい
　　画面系、ユニットテストの自動化、
　　コードレビューのオートメーション化
　　５つにまとめて商会

５．本当に自動化が解決策？
　　IBM,マイクロフォーカスと一緒にセッション
　　同じテストを４回繰り返したら、ツールコストも含めペイできる
　　自動化はハッピー？

　　担当者が決まらないと３０％遅い
　　　不具合管理システム利用時の不具合修正プロセス改善のための
　　　滞留時間分析手法の提案　伊原・大平・松本
　　→自動化よりプロセス

　　新規不具合は優先的に対処（Linux)

　　なるべく客観的なデータを見る
　　　→経過時間：ほっとかれ時間

　　コベリティの製品リリースプロセス
　　　・アジャイル
　　　・スクラム
　　　・開発者１００人
　　　・２週間スプリント
　　　・ツールJira,Pivotal Tracker,Bugzilla,Jenkins

　　明確な必要性
　　　・サポートプラットフォームが非常に多い
　　　　→自動化してまわしたほうがいい？

４．担当者のスキルセットは正しい？
　　ボタン押すのと、スクリプト書くの
　　　QAプロセスは東ヨーロッパでやっていた
　　　全然うまくいかなかった：スキルセット
　　→自動化テストチームを作り、スキルを設定

３．コードカバレッジの罠
　　テストの自動化C0C1,MCDC
　　ゴールグラフ＋条件分岐
　　　→全パス全自動化コードシミュレーション
　　→コードカバレッジに対するチャレンジ
　　コードカバレッジ１００％でもバグがある

２．優先度を設定しているか？
　　チェンジセットにフォーカスしたテストポリシーを評価する単純な試み
　　　　機能に対する
　　　　新しいコードに注目

　　社内での経験－ケーススタディ
　　　自動化の優先度にも

１．クリーンなコードになっている？
　　JUnitやってOK
　　　→もう一個先がある。結合レベルでクリーン
　　　　どことつながっているか

コーディング
ユニットテストの作成
コードの解析
構成管理システム
継続的統合により最新ビルド
既存のテスト
問題をアサイン
テスト作成とアップデート

さまざまな静的解析が自動化を高める
BLACKらいつ


まとめ
　Coverity Scan

androidデザインの極意

デブサミ２０１４に行ってきた！シリーズ

２月１３日のC3セッション

Smashing android UI
androidデザインの極意

をメモメモ

---

■自己紹介
　AKQA

■Android関係の書籍
　→デザインはなかった
　→ブログではあった　
　　Android //UI Pattern
　　　→これが本に Smashing Android UI
　　　→翻訳が出る

■極意
１．スケーラブルなレイアウト
　　　レスポンシブUI
２．繰り返し使えるルールを使う
　　　デザインパターン
３．は今日は割愛
　　　フォロースタイル、Google

　
■１．スケーラブルなUI
　レスポンシブUI
　　大きな画面で表示すると・・・
　　コンテンツの統合
　　　　Fragmentで複数の画面を表示
　　　　Compound Viewで表示内容を変更

　レスポンシブデザインを理解する
　　レスポンシブデザインの考え方
　　　　　例：Webデザイン

　　一般的なアプリ構造
　　　→ランディングページ、詳細ページ、新規作成オーバーレイ

　アプリの構造はシンプルに
　　　Actionバー
　　　３，４階層で結構作れる


■２．繰り返し使えるデザインパターン
　・ソフトウェアのデザインパターン
　　　　パターンランゲージ

　・UIデザインのデザインパターン
　　　デザインの構成要素を整理する必要があるときに使う

　・UIデザインのパターン
　　　ユーザーアクション
　　　ナビゲーション＆レイアウト
　　　データ

　　・書籍での流れ
　　　　解決する問題
　　　　解決策
　　　　結果
　　　　大きな画面の対応
　　　　注意点
　　　　実装技術

■（１）ActionBar
　現在のアプリはこれを基本
　　コンテキストの重要なアクション
　　企業ロゴ
　　アプリ内の位置感覚
　結果
　　ユーザーが使いやすいと思う
　Action Barライブラリで提供されている

■２．QuickAction以降
ActionDrawer
Pull to　Reflash
SWipe to Dismiss
Dashbord
Workplace
split view
expand in context
Side Navigation
Dynamic List
Image Place holder
Non-force Login

■アンチ・デザインパターン
iphoneライク：見た目良くてもX
・結局、アンチパターンが有効なケースも

■アンチパターン
　スプラッシュ画面
　チュートリアル
　Android以外のデザイン適用

■Pure Android
他のプラットフォームのUIを模倣しない

■まとめ

PhoneGap、Sencha、Xamarin・・・百花繚乱モバイル開発環境比較

デブサミ２０１４に行ってきた！シリーズ

２月１３日のC4セッション

iosにAndroid百花繚乱モバイル開発環境を比較する

をメモメモ

---

■自己紹介
Windows／OS X両

■Android／iOS普通の開発環境
・AndroidSDK
　　Java
　　AndroidStudio／えｃぃｐせ
　利点
　　純正
　　Java(Dalvik)

・iOS
　　言語Objective-C
　　Xcode
　利点
　　純正
　　お、Objective-C

・メリットとデメリット
　メリット
　　最新機能に対応
　　情報が豊富
　デメリット
　　環境と言語が強制
　　　　→学習コスト
　　それ以外のものは提供されない
　　　　→Google
　しかも両対応はむり

■Android/iOS両対応開発環境詳細

Native+SDK
HTML5
Native＋Framework
MONO
Script+Framework

・みんな知ってるHTML5/Javascript
　　PhoneGap
　　Sencha Touch
　　Titanium
　利点
　　程度の差はあれ、ほとんどの技術者が知っている
　　技術者が多い
　難点
　　技術者のレベル差が大きい
　　　ある程度はかけてしまう
　　　チューニングに長けている人と、そうでない人の差が激しい
　おすすめ
　　　Webサービスのモバイル展開
　　　　Facebookとか（HTML5のせいじゃないよ By Sencha
　　　Sencha　Touch
　　　　代理店キャノンITソリューション
・Scriptで作りたい
　　Python+Kivy：iOS
　　Ruby Motion：iOS
　　Ruboto：Android用
　　Adobe Air
　利点
　　LL言語が使える
　　　　Python,Ruby,ActionScript3
　　AdobeAir
　　　　Flasherがチカラを発揮できる
　　RubyMotion
　　　　LLVMの使用によりネイティブになる
　難点
　　AdobeAir
　　　AVMで動作：高速化されているが・・
　　Python／Ruby
　　　iOS/Android両対応しているFrameworkは？
　おすすめ
　　WebAPI経由のアプリ
　　Adobe Air
　　　Flasheが狂気する
　　　ゲームも
　　　日本語情報も多い（Flexのひとも）

.Netの知識が生きるMono
・Xamarin ios
・Unity3D
　　利点
　　　.net Framework
　　　C#が使える
　　Xamarin/Unity3D
　　　iOSに関してはネイティブにコンパイルされる
　　　→AndroidはMonoの上で
　　Unity3D
　　　３Dゲーム用機能が充実
　　　Boo/Javascript(UnityScript)も使用可能
　　　　→Boo：Python
　　難点
　　　.net Framework
　　　　→利点であり、難点でもあるかも
　　　Xamarin
　　　　GUIはNativeを使う
　　　　　ios StoryBord
　　　　　Android Layout.xml
　　　　→きりわけられてしまう
　　　Unity3D
　　　　　GUI
　　　　　　　２DFramework／NGUI EasyUI etc
　　　　　　　日本語が・・・
　　　　　　　　→ネイティブを使うのめんどくさい
　　おすすめ
　　　Xamarin
　　　　　一般的なアプリ：オールマイティ
　　　Unity3D
　　　　　ゲームゲームゲーム！！
　　　アプリとゲームですみわけ

・回りまわってNative
　Delphi／C++Builder+FireMonkey
　　利点
　　　　Native！→ポインタも使える
　　　　iOS/Android双方ともNativeになる
　　　　　AndroidはNDKを利用
　　　　OS APIにシームレスアクセス
　　　　　-Objective-C Bridge/JNI
　　　　　　JNI
　　　　　　#ifdefで
　　　　両方に完全対応、GUIも１ソース
　　　　Windows／OSXとも単一コードベースで
　　　　　ただし、それぞれの文化をもっていってしまうと・・
　　　　FireMonkey
　　　　　２D/3D対応
　　　　　DPIフリー（FormFamily)
　　　　　Style機構
　　　　　　　・iOS/Android両方のNativeUIの見た目に対応する
　　　　　　　　　　iOS7への対応も１週間
　　　　コンポーネント
　　　　　　Indy,DB系コンポーネント
　　　　みんな知ってるC++
　　　　完全なデバッグ
　　難点
　　　Native：Androidでは弱点
　　　Delphi Language：言語がPascal
　　　Style：Pixel Perfect
　　　IDEがWindows
　　　　　Xcode Command Line ツール
　　おすすめ
　　　一般的なアプリ：オールマイティ
　　　　　Windowsあぷりもあるなら

■結論
　一般的
　　Xamarin、Delphi
　エンタテイメント
　　Unity3D