AndroidのOreoまでと、かんたん機械学習の話を聞いてきた！

10月９日
GDG DevFest Japan 2017
に行ってきた!まずは、午前中（お昼のＬＴまで。オープニングは遅刻してみなかった）
をメモメモ！

---

■Android1.5～8.0
・前半ＯＳフレームワーク
・後半アプリ

Android oreo
ターゲットＳＤＫ２６にする必要あり
Doze,Upstanby：使っていない時のバッテリー消費
バックグラウンドのデザイン原則
　　Reduce
　　Deffer
　　coalesce

Bg.Activity Limitations
　Ｄｏｚｅ　５０％
　 PJ.svelte１８％

・２００９　OS 1.5 API LV3 CUPCAKE
　２００９　OS 1.6 API LV4 DONUT　複数解像度、バッテリー
　２００９　OS2.0/2.1 5～７　エクレア
　　　２．０　通知アイコン必須
　　　　　　　タスクキラーアプリ
　　　８．０　５秒以内にフォアグラウンドに（原則禁止）
　２０１０　2.2 FROYO
　２０１０　2.3 GINGERBREAD
パフォーマンス
　２．２　Ｄａｌｖｉｋ
　２．３　ＣｏｎｃｕｒｒｅｎｔＧＣ
　５．０　ＡＲＴ
　７．０　ＡＲＴ　＋　ＪＩＴコンパイラ

　２０１１　3.x HONEYCOMB
　２０１１　４．０　ＩＣＥ　ＣＲＥＡＭ　ＳＡＮＤＷＩＣＨ
　２０１２　４．１～４．３　ＪＥＬＬＹ　ＢＥＡＮ
Ｕｎｉｃｏｄｅ：絵文字
　４．３　Ｕｎｉｃｏｄｅ６絵文字
　５．０　nonhuman
　６．０　Ｕｎｉｃｏｄｅ７＆８，ＺＷＪ
　７．０　Ｕｎｉｃｏｄｅ９　Human Shape & Skin tones
→キャリアで違う

　２０１３　４．４　ＫＩＴＫＡＴ
　　アラーム
　　　４．４　setWindow(),setExact()
　　　６．０　遅延、
　２０１４　５．０　ＬＯＬＬＩＰＯＰ　ＵＸ変更６４ビット
　ＷｅｂＶｉｅｗ
　４．４　Ｃｈｒｏｍｉｕｍ
　７．０　Ｃｈｒｏｍｅ　ＡＰＫ
　８．０　マルチプロセスモード
　
　２０１５　マシュマロ
　　ＤＯＺＥ
　　６．０　省電力機能
　　７．０　ポケットにスマホいれても

　２０１６　ＮＯＵＧＡＳＴ
　　　ＡｐｐＩｃｏｎ
　４．３　ミッドマップ
　７．１　ラウンドアイコン
　８．０　あ

　そして　８．０　ＯＲＥＯ

　アプリの最適化

・後半　ＡＰＩの進化
・自己紹介
・古いＡＰＩからの振り返り
　ライフサイクル：１．５～あまり変わっていない
　アクティビティは絶えず状態が遷移する
　　画面遷移
　　端末の状態変化
　　ほかのアプリの状態変化
　→少ないメモリ空間を効率的に使う
　端末の設定や状態の変化に追随しやすくなる仕組み

　アプリの固有な状態

　非同期処理：別スレッドで
　カップケーキから非同期処理（ＡｓｙｎｃＴａｓｋ）
　ＡｓｙｎｃＴａｓｋ
　　アクティビティと密結合になりやすかった→Ｉｎｔｅｒｆａｃｅ
　　コールバックを弱参照で保持
　カップケーキのもうひとつの非同期処理ＩｎｔｅｎｔＳｅｒｖｉｃｅ
　　ＵＩと関係ない

・ＮｅｔｗｏｒｋＩ／Ｏ
　　Apache HttpClient
　　Http(s)URLConnection

・ＤｉｓｋＩＯ
　ファイルＡＰＩ
　SQLite
SharedPrefarence

・パフォーマンスモニタリング StrictMode

・ＡｃｙｎｃＴａｓｋ：結果の戻し方
　　→Ｌｏａｄｅｒ：死んでいたらキャッシュする
　　Ｌｏｄｅｒｃａｌｌｂａｃｋ
　　Ｌｏａｄｅｒ
　　Ｌｏａｄｆｉｎｉｓｈ

・Ｆｒａｇｍｅｎｔ
　目的
　　使いまわすことのできるＵＩのまとまり
　　ＵＩ使わない：SetRetainInstance(true)
　おさほうあ
　Ｓｕｐｐｏｒｔライブラリ

・ろりぽっぷから変わる
　　バックグラウンド処理→実行タイミングをよしなにはかる
　　アラームマネージャー、ジョブスケジューラー、

・Ｄｏｚｅエンハンスメント
　バックグラウンド制限
　　位置情報の制限
　　インテントサービスも影響

・旧来のＡＰＩの抽象化
　　ＲｅｃｙｃｌｅｒＶｉｅｗ

・ライフサイクル抽象化
　　アーキテクチャーコンポーネント
　　AppCompatActivity

まとめ
・ベースはほぼおなじ
　画面や非同期処理のライフサイクルはほぼ変わっていない

・ＡＰＩの複雑さ：抽象化

■ＧＣＰではじめるかんたん機械学習
・自己紹介
・機械学習ってなんだっけ
　機械学習とは：ただの関数です
　関数：
　機械学習でやりたいこと
　　入力　Ｘ０，Ｘ１，
　　出力　Ｙ
　→既知の入力と出力
　　出力結果が未知
　　→入力があったとき、未知の出力を知りたい
　　　推論をする
　関数の中のパラメータ調整

　機械学習
　　学習フェーズ
　　推論フェーズ

　機械学習は何のパラメータを変えているの？
　　既知のデータから境界線のパラメータを変えている

　機械学習ＶＳルールベースアルゴリズム
　　ルールベース：計算
　　機械学習：既知データから自動で判別式を算出
　→現実のデータは、そんな簡単にルールがわからない

　ニューラルネットワーク
　　境界線を引くのは同じ
　　ニューロン：直線しかひけない→組み合わさると曲線が引ける
　　やりすぎが起きてしまう

　精度の高い結果を得るには
　　学習するデータ数
　　モデルの設計
　　演算能力
　結構大変！→そこでＧＣＰ

・ＧＣＰと機械学習
　　ＡＰＩが準備されている
　　サーバーレス機械学習

　環境の使い分け
　　使うだけ（学習不要・モデル不要）

　　学習必要
　　　Scikit Learn
　　　ＴｅｎｓｏｒＦｌｏｗ
　　→クラウドマシーンラーニング；

・ＧＣＰのＭＬ系のＡＰＩ
　Ｃｌｏｕｄ　Ｖｉｓｉｏｎ　ＡＰＩ
　　　ランドマークでぃてくション
　　　ラベルディテクション
　　　不適切画像検知
　　　ＯＣＲ
　　　顔認識
　　　ロゴ認識

　ラベル検出
　　　ＶｉｓｉｏｎＡＰＩでもできる　マニアックさ

　自然言語処理
　　感情分析：文章がポジティブか、ネガティブか？

　デモ bit.ly/nl-bubble


・ML API X GAE X Firebase
　デモアプリのアーキテクチャ
　ＧＡＥからＦｉｒｅｂａｓｅＤＢへインサート

　Firebase簡単

・Datalab X Big Query
　Jupyter Notebookのクラウド版
　→リアルタイムで結果を見える
　pandasからBigQueryクエリ実行

・ＧＡＥＸＭＬエンジン
　ＧＡＥ：あっぷえんじん
　Ｃｌｏｕｄ　ＭａｃｈｉｎｅＬｅａｒｎｉｎｇＥｎｇｉｎ
　　ＴｅｎｓｏｒＦｌｏｗのフルマネージドサービス
　　学習・推論のジョブが流せる
　　ＡＰＩでほかのシステムと連携できる

　pix2pix：Variableが２００ＭＢあって重い
　重いモデルをどうやって使う
　　モバイルアプリに積むのはつらい
　　ＧＡＥはＴｅｎｓｏｒＦｌｏｗ動かない
　　そうだＭＬエンジン

　ＧＡＥからＯｎｌｉｎｅＰｒｅｄｉｃｔｉｏｎＡＰＩを使う

　ＭＬエンジン
　https://qiita.com/hayatoy
　ＧＣＰと機械学習の良い本　１１月

■ＬＴ
・OpenSUSEにのせる　あとは調布
・Ａｄａｐｔｉｖｅ　Ｉｃｏｎについて
・Vector Drawable モーふぃんぐとかできるけど、むいていないものも
・Android Instant Apps 、Progressive Web Apps
・法律の話
・Polymer:Webコンポーネント：１１月４日にPolymer Japanのイベント

DockerとかImpara＋kuduとかを聞いてきた！

１０月８日PHP Conference 2017に行ってきた！つづきをメモ
（最後に「PHPカンファレンス2017」のスライドまとめ）

---

■DockerでＰＨＰアプリケーションを本番リリースするまで
・おしらせ
　speaker deckにアップするよ

・アンケート
　開発でDocker使ってる人
　本番で運用している人：１人→この状態２年くらい

・じゃ、これからコンテナ本番リリース

・Ｄｏｃｋｅｒを本番運用してわかったこと
　福岡でやった

・今回は趣向を変えて
　　あなたのハートに火をつけたい

　さあはじめましょう
　
・Dockerコンテナを本番で使うのに必要なこと
　１．深く考えない
　２．コピペ
　３．クレジットカード

・とはいえ、最低限の知識
　１．ローカルでコンテナを作成
　２．レジストリにＰＵＳＨ
　３．本番にリリース

・代表的マネージドサービス
　ＧＫＥ
　Ｄｏｃｋｅｒ　Ｃｌｏｕｄ

・クバルネティス K8S　クーバネーティス　操縦者の意味

・Docker Swarm　すうぉーむ

・本番環境ごとに説明

・ＧＫＥ
　事前準備：
　　ＧＣＰアカウント
　　gcloudコマンド

　手順
　　ローカルでのコンテナ作成（動作確認）
　　レジストリにＰＨＳＨ
　　本番コントロール K8Sをつかってる（コントロール）

　あとはkubecontrollに習熟すればＯＫ

・Swarm mode
　AWS,Azureに入れる。方法は一緒

　手順はいっしょ
　　ローカルでのコンテナ作成（動作確認）
　　レジストリにＰＨＳＨ
　　本番：ここがswarmにかわるだけ→cloudformationを使う
　　→ただ、１０分くらい上がってこない

・Heroku：
　アカウント作ってください
　ＡＰＰ作成、ＰＵＳＨ→イメージもherokuが作る
　　
・まとめ
　マネージドな環境を使うことで、かなり簡単

■Kuduを使用したＫＰＩ分析システム
・自己紹介
・会社紹介
・この資料はＰＨＰ　２％あるかないかくらい
・ゲーム開発におけるＫＰＩ基盤
　ないときＫＰＩシステムをゲームごとに集計
　　ＤＡＵ／ＡＲＰＵ
　→ＫＰＩ基盤を開発して共通化！
・ＫＰＩ基盤
　　ＢＩツール作成、ＫＰＩ集計
・ＣＤＨ５．４．１１で
　　ＨＤＦＳでログ
　　バッチはＨｉｖｅ
　　そのあとＲＤＢＭＳ
　　ログをＦｌｕｅｎｔｄ経由
・しばらくは問題なし
　　人間の欲は深い
　　いろいろな要求が出てくる
　→実現困難
　　　速度面：Ｈｉｖｅ
　　　バッチの量産は困難
　　　バッチ前提：リアルタイム分析は困難
　→Ｈｉｖｅとは別のシステム
　　　高速に集計するしくみ
　　　分析者にも集計してもらう
　　　リアルタイムにアクセスできる仕組み
・解決策は
　　これらを満たすには→Impala+Kudu
　（別のapacheプロジェクト）

・なぜImparaとkudu
　３つのメリット
　　高速処理
　　全員分析者になれる
　　リアルタイム処理

　バッチ処理後のデータはkuduに格納
　バッチ以外のアクセスはImpalaで

・高速処理
　　ImpalaはHiveと捕獲すると、かなり高速
　　　　インメモリでの集計
　　　　Impala-Demon
　Ｈｉｖｅ４分３０秒→Impala+kudo０．２２秒
　　　　爆速

・全員分析者になれる
　　以前　ＨＤＦＳ→Ｈｉｖｅ集計→ＭｙＳＱＬ→ＰＨＰ
　　　イレギュラーケースは対応できない
　　標準的なＳＱＬでの分析は便利

　　Impalaと組み合わせることでＳＱＬ可能
　　（ＫｕｄｕはＳＱＬインターフェースない）

・リアルタイム処理
　ストリーミングでデータが流れていた
　ログさえ到達すればアクセス可能

Impara
・標準的なＳＱＬインターフェース
　高速処理

　Ｋｕｄｕ
　　更新削除
　　全データに触れること可能

・導入時に行ったこと
　ＣＤＨのバージョンアップ（５．１０以上→５．１１へ）
　インストール：Cloudera Manager
　データ移行:Apache sqoopによるデータ転送（ＭｙＳＱＬからＨｉｖｅ）
　　ＨｉｖｅからＫｕｄｕはImparaでできる（ＳＱＬ）

・注意点
　導入　ＣＤＨ　５．１０
　kuduのカラムの型にtimestampが使用できない Unixtime→BIGINT
　タイムスタンプ系の関数はＵＴＣとして扱われる
　　Impalaの起動オプション

・最後に
　いつでもだれでも多様な分析を行えるように！
　Ｋｕｄｕ簡単に検証できるＱｕｉｃｋ　ＶＭがある
　エンジニアも非エンジニアも幸せに

■片手間ＭｙＳＱＬチューニング戦略
・自己紹介
・スローログ出しましょう
　一定時間以上かかったＳＱＬを出力する
　　→オンラインでも有効にできる。小数点で時間指定できる。テーブルにもできる
　ジェネラルログ：全部吐き出す→実行前に吐き出す
　スローログ→実行後に吐き出す
　ポイント
　Ｔｉｍｅが短時間に集中している
　時間分布を把握するためのツール　あねもめーたー
　row_examined,row_sentが十分小さい→indexつけるか？
　そもそもrow_sentが大きくない？
　WHEREが特定の物に偏っていないか→インデックスの使い分け

・バッファプールの気持ちになる
　物理メモリーの７５％
　ヒープ領域
　あくまでバッファプールからよむ：テーブルスペースから
　　テーブルスペースとバッファプールは非同期

　ダーティーページがあるとき
　　→Ｓｅｌｅｃｔしただけで、書き込みが走る

　Ｉｎｓｅｒｔ、Ｄｅｌｅｔｅも同じ

　→ここが小さいとボトルネック

・インデックス
　特定のキーを狙い撃ちするのがうまくいく
　　→これ以外は・・・
　ＪＯＩＮはきらわれる
　ＯＲやＮＯＴ→ＡＮＤ、＝に落とし込めないか？
　カラムに対して演算してはいけない
　ネクストキーロック：indexに対するロック

・劇薬に手を出さない
　ＭｙＩＳＡＭ


まとめ
・MySQL Casual

---

国内最大のPHPイベント「PHPカンファレンス2017」のスライドまとめ
https://techplay.jp/column/158