SPSSのModelerがオープンソースになった感じのRapidMinerなんかを説明してもらった！

オープンソースカンファレンス 2016 Tokyo/Springの展示ブースで見てきたときの話

■ファーエンドテクノロジーで「Ｒｅｄｍｉｎｅ」のお話
開発のプロジェクト管理にも使える？例えば営業とか（ＳＦＡのつもりで聞いた）
にたいして、「開発案件以外にも使われている。営業とかにも使えると思う。
実際、いま会社では、ＲｅｄＭｉｎｅから指示がでてくる」という話をしていた。

入門ＲｅｄＭｉｎｅを１０００円で売っていたので買った


■ＫＳＫ　Ａｎａｌｙｔｉｃｓのお話
RapidMinerというオープンソースを紹介してもらいました。
分析がＧＵＩで設定できる、つまりですね、SPSSのモデラーが、オープンソースになったかんじ。コマンドラインからはnysolというのがあるらしい。
あとグラフ化するのにBIツールのpentahoをつかうが、このＥＴＬツールを使えば、データ加工できる

（と、説明を受けたが、素直にＥＴＬは、オープンソースのtalendを使い、データをＣＳＶにしたところで、
　RapidMinerで分析すればいいんじゃないだろうか？と思う）

Analytics Newsでいろいろ紹介している

コンテナ、DockerとLXD,LXCの違いなどを聞いてきた！

コンテナ型ハイパーバイザー「ＬＸＤ」入門

２月２７日のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

コンテナ型ハイパーバイザー「ＬＸＤ」入門

をメモメモ

---

【ツール】
ＬＸＤ（れっくすでぃー）について
・Ｇｏ言語製のコンテナが他ハイパーバイザー
　ＬＸＣを使って複数のホスト上の複数のコンテナを管理する仕組み
　クライアントサーバーモデル
　設定管理システム追加
　イメージ管理システム
　(クライアント）マルチプラットフォーム対応
　OpenStack Nova向けプラグイン

ＬＸＣ：Linuxのコンテナ機能を使うためのインターフェース
・Docker,systemdでも使われているカーネルのnamespaceやcgroupsなどを使用
・コンテナと呼ばれる軽量な仮想環境を構築
・ＣＰＵの仮想化支援機能が不要
・ＫＶＭに比べると、軌道が高速でイメージサイズが小さい
・各種言語向けのバインディングが存在
・Linuxでしか動作しない
→詳しいことはLXCで学ぶコンテナ入門ー軽量仮想化環境を実現する技術

Docker
・主にアプリケーションコンテナを作る
・１コンテナ１プロセス
・一度作ったら中身を変えない

LXC
・主にシステムコンテナを作る
１コンテナにinit以下のフルシステムが動く
・コンテナ内部にログインして作業を行う

上記はあるまで一般論で異なる使い方も可能

ＬＸＣの不満点
・何をするにしても管理者権限が必要
・同一ホストのコンテナしか操作できない
・コンテナの施ｔｙ亭を変更する方法が分かりにくい
・複数のホスト間でコンテナインスタンスを共有しづらい

ＬＸＣの昨日よりはユーザー向けのインターフェースに問題がある
→ＬＸＣのハイパー倍剤を作るＬＸＤ

改めてＬＸＤについて
・ＬＸＣを使って複数のホスト上の複数のコンテナを管理する仕組み
・クライアントサーバーモデル
　サーバー、コンテナを管理するlxd
　　lxdコマンドは管理権限が必要
　　lxcグループに入っていればいい
　　サブコマンド方式で統一性
　ネットワーク透過性
　ＲＥＳＴ　ＡＰＩの提供
　設定管理システム
　　コンテナの設定をsqlightに
　イメージ管理システム
　　非特権システムコンテナを簡単に構築
　　マイグレーション
　　他ホスト上にも
　マルチプラットフォーム対応
　　　Windows/Macからubuntu上のコマンドを操作できる
　OpenStack Nove向けプラグイン
　　KVMより一杯のもの立ち上げられる

非特権システムコンテナ
　rootがUID=0ではないコンテナ
　特権コンテナではホストとＵＩＤを共有する
　非特権コンテナは、user namespaceを使ってマッピングしている
コンテナの中にコンテナ作る場合は、親コンテナは特権コンテナ

ＬＸＤ，ＬＸＣに向いている仕事
・ＫＶＭやＶＭＷあれ、Ｘｅｎが行っていたシステムの仮想化
・リソースが少ない環境での仮想化
・組み込みでも使える（ubuntu Phone）

むいていない仕事
・ホスト、ゲストで異なるカーネル
・すでにDocker資産がある

ＬＸＤ入門
・ubuntuで動かす
・２種類0.x系と2.0系がある
・0,x系はこれまでのリリース版
・2.0系は次期正式リリースとして開発中
・unbuntu 16.04 LTSでは2.0が入る
・今から評価するなら2.0を使ったほうがいい

必要なもの
・ホストマシン ubuntu14.04以上（ＺＦＳ使うなら16.04以上）
　クライアント ubuntu14.04以上
・デモサービスある

インストール
・ppa追加
・update
・フルアップグレード
・apt install
・newgrp lxd

ＺＦＳについて

最初の一歩
sudo lxd init

イメージの取り込み
　lxd-images import ubuntu --alias ubuntu
　lxc image list

イメージの起動
　lxc launch ubuntu first

ホストとゲストのプロセスの状態
　lxc exec first -- ps axjf
　　--のあとに実行したいプロセス

リソースの制限
　lxc config set first 制限したい項目

スナップショット
lxc snapshot first clean
lxc restore first clean

インスタンスをイメージに
　lxc image list
　lxc stop first
　lxc publish first --alias first-base

イメージリストを他に

ライブマイグレーション

オープンソースで始めるIoTデータ活用(PentahoでＢＩ，RapidMinerで解析）

２月２７日のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

オープンソースで始めるIoTデータ活用～異常検知・故障予測、始めてみませんか？～

をメモメモ（途中から）

---

【ツール】
分析ソフト
・一長一短

Open Anaritics
・ＢＩツールと　データマイニングツールでカバー
　Pentahoなど、　今日紹介するRapidMiner

RapidMiner
　だれでも使える
　Rapid Miner Studio
　　２４９種類の分析など
　　　クラスタリング
　　　クラス分類
　　　次元圧縮
　　　回帰分析
　ほかのものと連携
　　Ｒと連携できる
　　エクステンションはレコメンデーション、テキストマイニング（英語）、時系列分析も
　可視化
　　でーたの見せ方→はこひげず

予防保全と異常検知のデモ
・ＲａｐｉｄＭｉｎｅｒで分析プロセスを作る
　　　ドラッグ＆ドロップで
　　　結果画面で結果をみる
　→テンプレートが入っている

セミナー
　ＩｏＴデータ分析ハンズオンセミナー
　テキスト分析ハンズオンセミナー（日本語）みその
　Pentaho無料体験ハンズオンセミナー


【アジャイル分析】分析ノウハウがない
・分析あるある
　たまっているデータを使って何かできるだろう
・日本の現状
　データ活用不足
　データ活用できる人は減っていっている→人材不足
　　データ分析できる人材を育てたい
　　分析ノウハウの提供・教育も兼ねる
　　ぶんせきほうほうをきめる：最後に仮説発見＆検証を持ってくるとだめ

分析ツールパートナーから分析ビジネスパートナーへ
　　くりすぷＤＭ
　モデリング：何のアルゴリズム→そこから入るのではなく、ビジネスの理解から

分析事例
・ＩｏＴ：故障予測
・離反分析
・レコメンデーション→パターン発見
・テキストマイニング：クレーム分析
・ＳＦＡデータ活用：最適な営業活動、新入社員教育、ＧＩＳも
　　→Analytics News
　→セミナー講演資料でダウンロードできる（来週の速いうちに）

世界の知恵が結集した「オープンソース」
反復型で効果を高める「アジャイル分析」

「Hadoopエコシステムの最新技術動向」を聞いてきた！

２月２７日のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

Hadoopエコシステムの最新技術動向とＮＴＴデータの取り組み

をメモメモ

---

Hadoopエコシステムの最新技術動向とＮＴＴデータの取り組み

・自己紹介
・Ｈａｄｏｏｐの概要
　　ＨＤＦＳ
　　ＭａｐＲｅｄｕｃｅ
　　ＹＡＲＮ
　エコシステムの最新動向
　データの取り組み

【Ｈａｄｏｏｐとは】
・オープンソースの大規模分散処理フレームワーク
・Doug Cutting（だぐかってぃんぐ）氏がJavaで開発
　扱うデータがビッグであるために従来のＩＴ－キテクチャでは難しかった
　　→２００５年から開発開始
　名前：ぬいぐるみから

Ｈａｄｏｏｐの構成
・集中管理がらの分散システム
　Ｈａｄｏｏｐマスタサーバー
　Ｈａｄｏｏｐスレーブサーバー
　Ｈａｄｏｏｐクライアント

Ｈａｄｏｏｐを構成するコンポーネント
　分散ファイルシステム：ＨＤＦＳ
　分散リソース管理機構：ＹＡＲＮ
→ＨＤＦＳとＹＡＲＮの２つのコンポーネントにより

ＨＤＦＳとは
　分散ファイルシステム
　複数のサーバー　１つのファイルシステム
　→外から見ると１つの巨大なファイルシステム

ＨＤＦＳの舞台裏
・分散ファイルシステムの舞台裏では
　各ブロックは複製され、スレーブサーバーに格納される
　ブロック→こわれたとき、スループット向上などのため
　レプリカは異なる３サーバーに配置される

ＭａｐＲｅｄｕｃｅとは
　ＭａｐＲｅｄｕｃｅアルゴリズム
　　大量の件数のデータがあった時に複数ワーカーで並列に処理できるしくみ
　例として：選挙の開票作業

　　第一段階
　　　１）用紙を適当に３つ分ける
　　　２）３人で並行して候補所ごとに仕分け
　　第二段階　　　　　　　　　　　　　　　　　　　ＭＡＰ処理
　　　３）候補者ごとに用紙を集める
　　第三段階　　　　　　　　　　　　　　　　　　　Ｒｅｄｕｃｅ処理
　　　４）３人で候補者ごとに枚数を数える

Ｍａｐ処理　　　　　　　　　　　　　　Ｍａｐタスク
　Ｍ人でやればＭ倍のスピード
　（相互に影響を受けずに作業できる）　　　　　　　　　　ＭａｐＲｅｄｕｃｅジョブ
Ｒｅｄｕｃｅ処理　　　　　　　　　　　Ｒｅｄｕｃｅタスク
　Ｎ人でやれば、約Ｎ倍のスピード
　（相互に影響を受けずに作業できる）

ＭａｐＲｅｄｕｃｅ：ＹＡＲＮ上で動作
　ＭａｐＲｅｄｕｃｅ＝ＹＡＲＮ上のアプリケーションの１つ

ＹＡＲＮとは
　Yet Another Resource Negotiator
　分散処理のリソースを制御する仕組み
　　Hadoopのスケーラビリティをさらに向上させる
　　柔軟なリソース制御によるスループット向上
　　MapReduce以外の分散処理を実行できる

ますたーサーバーの負荷軽減
　ジョブ・アプリケーション管理のイメージ
　　Resource Manager
　ＹＡＲＮでは
　　ジョブＸ→アプリケーション○
　　仕事（アプリケーション）の管理はメンバに依頼、とりまとめ役になる
　　任命されたApplication MasterはResourceManagerに進捗状況
　　タスクごとの進捗状況はApplication Masterがかんり、
　　ますたーサーバーの管理コストが減り、多数のメンバーを管理できる
　　　→スケーラビリティ向上　１００００ノード程度のクラスタも構成可能に

ＨＤＦＳ
　大量データをこうスループットに読み込める
　サーバーが故障してもデータの安全性担保
　サーバー数を増やせば格納できるデータ数はスケール
ＹＡＲＮ
　リソースベースで処理を割り当て、こうスループット
　サーバーが故障してもタスクが再実行されジョブは成功
　サーバー数を増やせば、処理性能は基本スケールする
ＭａｐＲｅｄｕｃｅ
　ＭａｐタスクＲｄｕｃｅタスクのみを指定すればあとはＹＡＲＮで

【Ｈａｄｏｏｐエコシステム】
　２０１１後半からＹＡＲＮ→ＹＡＲＮあたりまえ
　今、２．６．４と２．７．２

１１年目Ｈａｄｏｏｐ
・大容量、多件数データのバッチ処理基盤→仕組み・手法ともに成熟
　　クラウド
・MapReduceにこだわらない処理→ベースは感性、成長著しい
・新たなステージ→群雄割拠
　ＳＱＬ　on Hadoop
　Ｈａｄｏｏｐエコシステムの拡大
　Ａｐａｃｈｅ　Ｓｐａｒｋ

・代表的なＨａｄｏｏｐエコシステム
　Ａｐａｃｈｅ　ＴＥＺ→Ｐｉｇとじゃもうごく
　Ａｐａｃｈｅ　Ｓｐａｒｋ
　ＨＢＡＳＥ
　Ａｐａｃｈｅ　Ｉｍｐａｌｅ分散クエリ
　Ａｐａｃｈｅ　Ａｍｂａｒｉ
　Ｈｕｅ
　Ｋａｆｋａ（メッセージングシステム）

特に
・ＭａｐＲｅｄｕｃｅによらないあらたな分散処理

ＡｐａｃｈｅＳｐａｒｋ：コアを中心に成り立つライブラリ
　大規模データの分散処理をオンメモリで実現
　　繰り返し処理に柔軟に対応→機械学習のクラスタリング
　　　ＳＰＡＲＫ　ＳＱＬ
　　　ＳＰＡＲＫ　Ｓｔｒｅａｍｉｎｇ
　　　ＭＬＩＢ
　　　ＧｒａｐｈＸ

Ｓｐａｒｋ最新動向
・フロントエンドとバックエンドの進化
　フロントエンド：DataFrame　API→処理高速化
　バックエンド　：Project Tungsten→ＣＰＵの利用効率高める

Hive2.0　新たな時代のHive
・Apache Hive2.0 ：２０１６年２月リリース
　機能・運用面・性能面の強化
　ＣＬＩとしてBeeLineが標準に
　SQL　Ｓtandard Authorization
　Hive Server２機能強化
　ＬＬＡＰ
　実行エンジンとしてMapReduceは非推奨に

HiveServer2
　Ｗｅｂ画面：実行されたクエリの情報・実行計画
　　→メトリクスも
ＬＬＡＰ
　秒未満のクエリ実行時間を実現するための仕組み
　　コンテナ立ち上げに時間がかかった
　　→ＹＡＲＮのリソース管理　ＹＡＲＮ上にデーモン
　　　コンテナ：ＴＥＺ
　ベータ版

【ＮＴＴデータの取り組み】
・Apache Hadoop PMC就任
・その他公開資料
　　http://www.slideshare.net/hadoopxnttdata

まとめ
・Hadoopは１台のマシンで扱えない規模の大量データを高速に処理するためのフレームワーク
・Hadoopエコシステムの開発の勢いは今も活発
・NTTデータもHadoopの開発に参画しています
　　Hadoopだけでなく、エコシステム全般

ＲｅｄＭｉｎｅの運用事例（アジャイル開発の場合、ウォーターフォールの場合等）をメモメモ

きのう（２月２７日）のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

業種別、開発プロセス別のRedmine運用事例紹介

をメモメモ

---

Redmine運用事例

・会社紹介
　Rails開発事例
　今年@ITでRedmine連載記事を予定
　昨年Redmine実践ガイドを出版
　Redmine入門書　入門Redmine

【Redmineの運用事例】
・ウォーターフォール型開発
（１）親子チケットで運用：機能が親・多い
（２）トラッカーで運用：トラッカーで設計、運用などわける・おなじ
（３）バージョンで運用：バージョン作るとロードマップが出てくる・おなじ
→チームの大きさによって変わるのでは？

・アジャイル開発
　ＤＥＭＯ
　チケットを作る
　　新しいバージョン：イテレーションごとに
　　標準のガントチャートで
　Ｌｙｃｈｅｅ（らいち）ガントチャート
　ＬｙｃｈｅｅＲｅｄＭｉｎｅ
　かんばん

・製造業の現場
　工場：パソコンない→グループ、チームでステータス上がる
　クリティカルパス

・ゲーム会社の運用
　ゲームシーンＡを作成する：管理チケット
　　　キャラクターを作成する
　　　　　キャラクターのモデルを作成する（作業チケット）
　ゲームシーンＢを作成する：管理チケット
→進捗をバージョンで確認する
　チケットをコピーして重複の関連を設定する

【最後に】
・redmine tokyo 次回５月１４日　＠渋谷
　facebookかtwitter
　関西は頻度が多い

「 オープンソースをベースとしたパーソナルＩｏＴの活用方法について」を聞いてきた

きのう（２月２７日）のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

オープンソースをベースとしたパーソナルＩｏＴの活用方法について

をメモメモ

---

３つのテーマ
・パーソナルＩｏＴの勘所
・パーソナルＩｏＴ２年間うごかした
・ＡＰＩを使って

１．パーソナルＩｏＴの勘どころ
・モノをインターネットにつなぐ
　　サービス化
　　モノづくり：３Ｄプリンタ
　　範疇にはいりきれないものを、どう取り入れるか：自動運転、ドロー

・ＩｏＴＭａｐ
　　　　インダストリー　インターネット　　　　パーソナルＩｏＴ
　インダストリー４．０

・パーソナルとしてのＩｏＴ
　現実的

・パーソナルＩｏＴの勘所
　潜在している情報の顕在化
　　習慣の見える化
　　計量値、計数値
　　さてなにをどのように見える化するか
　　取得データの選別

・パーソナルＩｏＴを実現する要素技術
　１）センサー、ハードウェア、３Ｄプリンタ
　２）シングルボードコンピューター
　３）ネットワーク
　４）ＯＳＳの活用（ＡＰＩ、クラウド）

・パーソナルＩｏＴの勘所
　取得したデータをどこの何とつなげるか
　どのような価値を生み出すか

・ＩｏＴの進展に備えて
　１）オープンな仕組みづくり、標準化
　２）オープンソースの活用

　ＯＳＳをいかに活用するか

　センサー→データフォーマット標準→オープンソース→フィードバック

・ＩｏＴの勘所まとめ
　全体像をつかむ
　協力体制をいかに組むか
　ＯＳＳの活用がカギ

・パーソナルＩｏＴの例　おもしろカウンタ
　身の回りにある回数を数えるＩｏＴ
　→改めて　数えることにより見えてくること
　　関連情報と比較して見えてくること

・パーソナルＩｏＴの例
　お近づきカウンター
　　ドップラーセンサーで通行料をカウント
　　時系列での交通量の把握
　　　zigbeeでセンサーサーバーと通信

・まとめ
　　ＩｏＴには無線がほしい
　　どこのクラウドに転送するか
　　データの活用方法を最初から描くこと

２．パーソナルＩｏＴを２年間動かす
　センサーサーバー
・ＩｏＴの実証実験
　　オープンソースをベースにしたスマートセンサーシステムの紹介
　　　話せばわかるコンピューターの会
・新築家屋での２年間のＩｏＴの実証実験結果
　　１）安定した室内温度、室温の維持
　　２）ＳＨＳ外断熱工法と床暖房の性能が実証された

・問題点１：１年後、湿度センサーからのデータ異常発生
　　湿度１００％続出→センサーが錆びついている：端子が腐食
　　　　→センサーが環境に耐えられない
　　センサー基盤端子とソケット間の腐食
　　センサー基盤端子間の腐食
　→交換、百葉箱改善、ケーブル長くしたＩ２Ｃケーブル：限界（電圧降下で採れない）
　　ＷｉＦｉ，無線で飛ばすのが現実的

・ＩｏＴデータのグラフ連携
　fluentdで

・実証実験でわかったこと
　データ分析　アラート　見える化
　　データの見える化により分かることは意外と多い
　　オープンソースをいかに活用するか

・まとめ
　センサーは故障する
　定期的にセンサーのセンシングをする
　ＩｏＴの環境を見てあげる

３．市販ＩｏＴのＡＰＩを活用したデータ取得方法
・ウェザーステーションNetatmoからのデータ取得
　Netatmoウェザーステーション：ＡＰＩ持っている
　　node.js,pythonなどＡＰＩ提供
　→気象予想も出している
　リクエストを出して、アンサーをもらう
　手順
　　キーの発行
　　node.jsインストール
　　node.jsモジュールインストール
　　提供のＡＰＩを参照
　　ＡＰＩをキー、バリューに変換
　　ＣＲＯＮで起動

・ＩｏＴのデータ連携にはＡＰＩがカギを握る
　例：ＣＯ２が上がると、照明の色が変わる：いかに身近に知らせるか

・Fluentdをミドルウェアとするデータフロー
・データ連携にはＡＰＩがカギを握る
　　ＪＳＯＮ

・まとめ
　ＡＰＩ連携で市販ＩＯＴをつなぐ
　ＡＰＩ連携にはデータフォーマットは大事
　ＡＰＩ連携で相乗効果を狙える

美女と中年男性がITソングを歌って踊る!?「俺とお前とニフティクラウド」

よくわかんないけど（＾＾；）

美女と中年男性がITソングを歌って踊る!?　突っ込みどころだらけの動画「俺とお前とニフティクラウド」
http://www.itmedia.co.jp/news/articles/1602/25/news005.html


Nifty cloudにVMWareで、なんかいいことあるの？
そこがよくわからない。
・・・って、Nifty CloudのDRサービス with VMWare vCloudの宣伝なのね。
・・・全然気付かなかったです（＾＾；）

ＩｏＴによさげなＷＩＦＩモジュールＥＳＰ８２６６について、聞いてきた！

きのう（２月２６日）のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

ＩｏＴのセンサーノード側の主役に躍り出たＥＳＰ８２６６、その実力と応用事例を徹底解説

をメモメモ（途中から）

---

今日の話について
・Monoistの連載一位：「基礎からのマイコンモーター制御」　この記事の著者名をクリック
・「話題の技適Wi-Fiモジュール「ESP8266」でIoTを手作りする」というのがでてくる
・その連載について、書けなかったことなど

技適について
・中国で作っているもの：日本の技適に申請していない場合あり（安いどんぐるなど）
　　→日本で使っちゃだめ
・ＥＳＰ８２６６は技適通っている。安い５００円

なぜ、いままでのＷｉｆｉモジュールは高かったか
　　今まで、
　　マイコンとつなげる→ＵＡＲＴ接続
　　　ＴＣＰ／ＩＰは
　　　　　wifi側で面倒をみる→マイコンより高性能？
　　パソコンの場合は
　　　　　プロトコルをパソコン側で面倒を見ている
ＥＳＰ８２６６は
　３２ビットＣＰＵプロトコルスタックが載っている
　チップ 2mm間隔の足→ブレークアウトボードを使う：秋月で売ってる
　ＵＳＢ変換→仮想ＣＯＭポートとして見える→ＡＴコマンドをたたく
　ボーレート合わせること
　行の最後にＣＲＬＦ（改行コード設定）
→シリアル経由でしかアクセスできない
　ＧＰＩＯ　Ｉ２Ｃ　ＡＤコンバーターもついているけど
　　ＰＣ－シリアル－ＥＳＰ８２６６
　ＵＡＲＴのファームが入っている
→ファームを入れ替えれば、ＮｏｄeMSU：単独で動くが、入れ替えると技適していないことに

ＥＳＰ８２６６情報交換初
ＥＳＰ８２６６環境向上委員会

・卓上ＣＮＣ（フライス）でブレイクアウトボードを作った
・ＥＳＰ８２６６をＴＣＰサーバー（telnetサーバー）にする
　ModeMCUだけど、MQTTを使ってBlueMixにつなげた

REDMINEを使ったヘルプデスクシステムを聞いてきた！

きのう（２月２６日）のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

REDMINEを使ったヘルプデスクシステムでサポート業務を効率化

をメモメモ（時間がなく、途中までしか聞いていないので、そこでまで）

---

・自己紹介
・入門Redmine

・Redmine使った人：８割

Redmineとは
・課題管理、情報共有
　２００６年から開発
　用と例
　　プロジェクトのタスク管理
　　バグとかの問題追跡
　　顧客サポート
　多数のタスクの管理が得意
　　チケットでタスクを管理
　チケット＝課題を書いたふせん
・結構使われています
　１０点もの書籍

運用中のＷｅｂサポート窓口の紹介
・RedmineのSaaS「My Redmine」のサポートが
　顧客が増えるにつれ、しんどくなってきた
　→メールはしんどい
　→ステータスの管理がしにくい
　　サブジェクトてきとう
　　やり取りの内容をおいかけにくい
・しんどいのをなんとかするために
　Redmineが使えないか
　→お問い合わせの対応とバグ管理は似ている
　　RedMineが適用できそう

・Redmineによる顧客サポート開始
　１日２０～３０件、メーリングリストだと厳しい
　顧客の画面：問い合わせ作成
　　項目を減らした画面でメールフォーム感覚で
　　トラッカーの設定で、ワークフローでフィールドに対する権限：読み取り専用にする
　自分が作ったチケットしか見えない
　　サポート担当者は全部見える
　　ロールと権限「作成者が担当者であるチケットのみを表示できるように設定

効果
・対応すべきものが明確
・やりとりを追いかけやすい
　→注記で時系列に表示
・お客様とサポートチームが同じ情報を共有
　過去対応の参照、リンク提示
・担当者間の連絡がスムーズ
・メールの長々しい挨拶が不要

「今さら聞けない人のためのDocker超入門」を聞いてきた

きのう（２月２６日）のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

今さら聞けない人のためのDocker超入門 CentOS7.1対応版

を聞いてきたのでメモメモ

---

・自己紹介
・日本仮想化技術株式会社
　EnterpriseCloud.jpにある
　NTT Docomoのサービスインフラ

本日のアジェンダ

書籍
・Dockerエキスパート養成読本：難しい
・Docker教科書(翔泳社）のほうが、すこしやさしいかな

Dockerを動かそう
・Dockerの特徴
　１コンテナ１プロセスで動作する
　　システム空間
　　unix：すべてをファイル
　　→仮想マシンに近い
　各方式の比較
　　ベアメタル
　　仮想マシン
　　コンテナ
　　　カーネル１つ：ディストリビューションは混在可能
　　　ＡＢＩ（バイナリ）の互換
→Docker：自動化の技術

・Dockerをインストールする
　Cent OS 7.1
　yum install docker
　bridge-utilsパッケージいれとく
　Docker用ストレージ領域
　　ＬＶＭ設定 (devsの設定）
　　Docker-storage-setup実行
　　dockerサービスを起動

・firewalldの止め方

・Dockerイメージをダウンロード

・Dockerコンテナを実行（基本）
　　1.CentOSイメージでコンテナを実行

・Dockerコンテナを実行（応用）
　コンテナ名をつける
　シェルからコマンド実行
　Dockerファイル

Ｄｏｃｋｅｒのライフサイクル
・イメージとコンテナの遷移
　　docker run
　　docker commit
・コンテナをイメージ化
　　httpdをインストール
　　コミットしてイメージ化

Dockerのネットワーク
外部eth0→docker0でＩＰマスカレーと→dockerのeth0へ

Dockerfileに書ける内容
・複雑なことをやらせるには向いていない
　　→chef,あんしぶる使う
　ＣＭＤ，エントリーポイントでコマンド実行
・docker buildで(dockerファイルを指定しdockerイメージを作る


　　　
　　

「ログ収集基盤ソフトウェア Fluentd 超入門」を聞いてきた

きのう（２月２６日）のオープンソースカンファレンス 2016 Tokyo/Springに行ってきた！つづき

ログ収集基盤ソフトウェア Fluentd 超入門

をメモメモ（途中から）

---

ログを効率よく収集できる
・ログの転送と集約
・ログの加工
・フィルタリング機能
・バッファっリング機能
・他ツールと連携してログの可視化

ＵＲＬ：http://fluentd.org/
開発：
・トレジャーデータ社
・コミュニティベース
・言語；ＲｕｂｙとＣ
・あぱっちれいせんす

イメージ
　データ入力Input　→fluentd　フィルタ・バッファ→データ出力

物理厚生い目―市
それぞれにfluentd
データを受け取る（集約）ところにaggregator
データ出力：えらすてぃっくさーちとか
→すべて同じプログラム：設定違うだけ

構成図
・ＪＰ１におくっている
・めとりっくすとってる

Fluentdとtd-agentについて
・プログラム：どんどんリリース
・トレジャーデータがパッケージングす他モノがtd-agent
・fluentd0.xx（偶数）がメジャーバージョン
　０．１２系：td-agent2→カレントステーブル
　０．１０．Ｘ：td-agent1→前まで使われていた（新しいのでは使わないほうがいい）
・ＲＨＥＬ，CentOS,
Windows版
・fluentd0.14～
　安定版は未リリース
　0.14.0.pre.1が２０１５年１０月２９
　nxlogに転送、nxlogからfluentdへ

fluentdの特徴
・観覧なインストール
・ログの構造化
・豊富な機能（プラグイン機能）

簡単なインストール
・コマンドい発
　curl-l https://とれじゃーでーたさんのところ
　起動・停止

Fluentdの設定とプラグイン
・fluentdの設定＝利用したい機能（プラグイン）の設定をする
・４種類のプラグインを駆使してログ収集・加工・蓄積を行う
　　Inputプラグイン
　　Filterプラグイン
　　Outputプラグイン
　　バッファプラグイン
　　　Input →　Filter → Output
　他にParserプラグイン、フォーマッタプラグイン（意識しなくて大丈夫）

プラグインの検索
・利用したいプラグイン＝機能を検索
　　http://www.fluentd.org/plugins
・Ｗｅｂ上で検索（日本語で書かれた情報が豊富）
→結構大変

プラグインの追加方法
・ruby gemでインストール
　　fluent-gem
・プラグイン数５５２種類

ルーティングとタグ
・ルーティングとは
　一つのログレコードに対して、どのような処理を行いながら、
　どのように最終目的地に届けられるか
　処理に対して利用するプラグインを定義
・タグとは
　ログレコードの識別し
　　ログの種類、ミドルウェア名、ホスト名などで定義
　　タグ名でログレコードが利用するプラグイン
　　　加工・転送・保存処理
　　を使い分けてルーティングの制御を行う

ルーティングとタグのイメージ

・httpプラグインtailでログ取得
　　タグの設定

　　タグaccess.httpd.host名に対して
　　filterプラグインgrepでリグ選別

　　タグaccess.httpd.host名に対して
　　Outputプラグインでログ加工

　タブ名（すべてのログ）に対して
　Ｏｕｔｐｕｔプラグインforwardでログの転送

・転送先
　Inputプラグインforwardで」ログ取得
　Outputプラグインでログ加工

・Fluentdはタグ名でルーティングの制御をおこなうことができるが
　　タグ設計が難しい
　　設定ファイルが読みにくい
　ということで、
　fluentdでは、ラベルが使える

・ラベル利用時の注意事項
　すべてのプラグインでラベルが利用できるとは限らない
　Fluentd 0.10(td-agent)の時に開発され、メンテナンスされてないプラグイン
　　　　Engine.emitＸ　router.emit○

ログの構造化
・ログに構造を持たせてあと後検索しやすいように加工
・時刻フォーマットの統一と内容のJSON化
・構造化方法：正規表現で指定
・設定ファイルtd-agentd.confのformatに書く（時間はtime_format）

必ず利用する機能：バッファリング
・バッファプラグイン
　性能と信頼性向上
・バッファリングするOutputプラグインとセット
　チャンクとその個数が設定できる

必ず利用する機能：ログ転送
・forwardプラグインInputとOutput
・冗長化構成も取れる

ログの可視化ツール
・Elasticserchとkibana（きばな）
　えらすてぃっく社　
　商用バンとＯＳＳ版
　ＲＥＳＴで操作できる
　View部分がkibana
　データ肥大化
　短期的詳細ログ解析に向いている
GrowthForcast
　httpプロトコルを利用して
　サマリーデータで表示
Zabbix
　めとりっくすをzabbixい送信してグラフ化
　古いデータの可視化もしやすい

事例
・構築事例：金融系
・コンサルティング；携帯アプリのシステム
　　グラフをgnuplotを使って
・サポート：機器メーカー→Mongoに格納
・サービスの紹介
　トレジャーさんと協業

「PostgreSQL9.5新機能紹介」を聞いてきた！

今日（２月２６日）オープンソースカンファレンス 2016 Tokyo/Springに行ってきて、

PostgreSQL9.5新機能紹介

を聞いてきた！その内容をメモメモ

---

■PostgreSQL9.5新機能紹介

　資料：http://goo.gl/GoEBD8

自己紹介
　PostgreSQL虎の巻

アジェンダ
・開発者が加えた新機能のうちのいくつか
　　大規模、運用簡単、アプリケーションを容易に、
　　注意点
　　先のバージョン

１．ＰｏｓｔｇｒｅＳＱＬ概要
　ＰｏｓｔｇｒｅＳＱＬ９．５の歴史
　　１９７４年　Ingresプロジェクト：マイケルストーンブレーカー
　　１９９７　PostgreSQL6.0～：今の先祖、あーきかたまる
　　２０１６年１月　９．５
　　２０１６年２月　９．５。１（セキュリティパッチ）

　今日説明しない
　　ユーティリティ
　　ＳＱＬ文の新機能

　パフォーマンスの向上
　　いままでは、機能を足していたが、今回は大幅パフォーマンス向上
　　　ソート処理の高速化
　　　集計関数の高速化
　　　トランザクション
　　　ロック範囲縮小：マルチプロセッサでスループット向上

２．大規模環境
　ＢＲＩＮ(Block Range Index) Index
　　Ｂ－Ｔｒｅｅインデックス：範囲検索、インデックス作成に時間、ストレージ容量
　　ＢＲＩＮ：ブロックレンジ：ストレージ要領小、Ｂ－ｔreeより速くはないが、フルスキャンより速い
　　　→最大値、最小値を持っている
　　時系列データ

　Create FOREIGN TABLE INHERITS：複数テーブルを１つに見える
　　パーティション機能がない：親子関係、制約で振り分けはできる
　　MySQLふぇでれーテッド、Oracle:データベースリンク
　　→集計処理、Order by→ローカル実行（全データが飛んでくる）

　SELECT TABLESAMPLE 散布リンク検索
　　分析用データベース
　　サンプリング方法：システム、ベルヌーイ
　　　システム：ブロック単位、ベルヌーイ：レコード単位
　　→標準にそっているＩＢＭ　ＤＢ２

３．運用を簡単に
　pg_rewind
　　　レプリケーション環境の再同期
　　　　復活した時
　　　　　　９．４までは、データコピーしてレプリケーション作りなおし
　　　　　　９．５から差分更新（分岐されたところにRewind)

４．アプリケーション開発を容易にする機能
　ＳＱＬの拡張
　　INSERT ON CONFLICT DO UPDATE( DO NOTHING )
　　　マージ、デュプリケートキ―
　　　→制約違反が起こったら、UPDATEまたはなにもしない
　　→トリガー
　　　　マニュアルに書いてないが、中途半端に動く
　Row Level Security：
　　　タプル単位のアクセス制御
　　　→GRANT文によるアクセス制御→テーブル、列単位
　　　バーチャルプライベートＤＢと同じ
　　　テーブルに対してローレベルセキュリティすること線がん
　　　ポリシーの作成

　ＵＰＤＡＴＥ　ＳＥＴ
　　　複数列の同時更新

　SELECT SKIP LOCKED

　GROUPING SETS /CUBE /ROLLUP
　　→ないのがＭｙＳＱＬぐらいになった

　ＪＳＯＮとＪＳＯＮＢが利用できる
　　→最近はJSONB型に機能拡張

　ＰＬ／ｐｇＳＱＬＡＳＳＥＲＴ
　　ストアドプロしジャーでアサーション

５．注意点
・ＡＬＴＥＲ　ＴＡＢＬＥ　ＳＥＴ　ＵＮＬＯＧＧＥＤ／ＬＯＧＧＥＤ
　トランザクションログの書き込み→書き込み
　切り替えられる（内部実装今一つ：古いほうを消しているだけ）
・優先順位の変更
　演算子の優先順位変更→ＳＱＬ標準に準拠するための変更
　→わかるためには、SET operator_recedence_warning = ON
　　(デフォルトＯＦＦ)
・パラメーター増えてるけど、減ったのもある：checkpoint_segments廃止
・パッケージの変更：Contribからbinへ

６．PostgreSQL10？
・パラレルスキャン、パラレルジョイン

７．まとめ

GoogleのヒューマノイドロボAtlasが超進化し実用域に

ですって。
今時間がないので、ＵＲＬだけメモメモ
（まだ記事読んでない）

GoogleのヒューマノイドロボAtlasが超進化し実用域に
http://www.itmedia.co.jp/news/articles/1602/24/news075.html

IBMの人工知能Watson、「空気を読む」機能を獲得

自動音声認識とつなげて、
会議室に、置いておくといいかも

IBMの人工知能Watson、「空気を読む」機能を獲得。入力文章から相手の感情を分析
http://www.huffingtonpost.jp/engadget-japan/ibm-watson_b_9303662.html

Wi-Fiの消費電力を1万分の1まで減らす新技術?

元になる信号があって、それを反射することによって通信するみたいです。

Wi-Fiの消費電力を1万分の1まで減らす新技術「Passive Wi-Fi」でバッテリー長持ち・モノのインターネットが近づくかも
http://gigazine.net/news/20160224-passive-wi-fi/

たしかに反射する側は電気使わないけど、
元になる信号（RF側）は電気使うんじゃあ・・・
・・っていうツッコミはさておき、
反射を利用するってのは、光とかでも、いろいろ使えそう・・