Elastic Stackって何？って話、聞いてきた！

９月１０日、オープンソースカンファレンス２０１７　Tokyo/Fallで

システムメトリクス・ログのリアルタイム解析入門
―Elastic Stackを活用して―

を聞いてきたので、メモメモ

---

・システムメトリクス解析、ログ解析

・自己紹介
　るしん
　エスティックサーチ→エスティック
　　お金払うと、なんでもきけるよ

・Elasticスタック：ＥＬＫ
　　Ｅ：えらすてぃっくさーち
　　Ｌ：ろぐすたっしゅ
　　Ｋ：きばな
　→Ｅｌａｓｔｉｃスタックになった

　でーたのとりこみ
　　Ｌｏｇｓｔａｓｈ：
　　Ｂｅａｔｓ：

　検索
　　エスティックサーチ
　
　ユーザーインターフェース
　　Ｋｉｂａｎａ

　お金貰う法
　　エラスティック　クラウド
　　　→ＡＷＳさんのエラスティックサービスとは別

・メトリクス・ログ解析
　　ＢｅａｔｓーＪＳＯＮになって→えらすてぃっくさーち→Ｋｉｂａｎａ

・Ｂｅａｔｓ
　軽量シッパー：めとりっくビート、ファイルビート
　→こいつだけ入れれば動く
　　　ＦＩＬＥＢＥＡＴ　　：ログファイル
　　　ＭＥＴＲＩＣＢＥＡＴ：メトリック情報

　パケットＢｅａｔ
　　ＭｙＳＱＬ，Ｐｏｓｔｇｒｅｓのポート
　Ｋｉｂａｎａ：グラフ作るの面倒
　　→Ｋｉｂａｎａのダッシュボードある
　Windows
　　Ｗｉｎｌｏｇｂｅａｔ

・Ｅｌａｓｔｉｃサーチ
　検索エンジン
　ミドルウェア（ＲＥＳＴ　ＡＰＩ）
　Ｇｉｔｈｕｂの裏でつかっている。日経電子版も
　Ｊａｖａ実装
　Ａｐａｃｈ　るしーんをラップ
　ポート９２００でしゃべる

　スケールアウトしやすい
　　勝手に分散

　全文検索
　　スライド公開するので、よんでいただくと
　　書籍の後ろに索引：あれつくる

　緯度経度

　エコシステム：いろんなライブラリ入れている

　本：公開している

・アグリケーション
　　解析：集計得意
　　集計の多段ができる

・Ｋｉｂａｎａで可視化
　FileBeat
　　ログ→ＩＰアドレスを抜く
　　ＩＰアドレス→緯度経度

・本格的に解析を行うには
　Ｂｅａｔ１００台→エラスティックサーチになげると・・
　　ログスタッシュ、カフカ、Ｒｅｄｉｓに送る

・ろぐすたっしゅ
　ログの収集管理

・さらに
　Ｈａｄｏｏｐもあるよ！
　データを入れやすくするライブラリ

・（有償版）サポートに入れば使える
　認証がない
　Ｘ－Ｐａｃｋ→セキュリティ、アラーてぃんぐ、機械学習
　ログデータに対して、学習モデルを作る

・本でる
・テクニカルワークショップ
　デモ提供
　公式トレーニング　３か月に１回
　ビデオいっぱいある：kibana挫折する

・Ｋｉｂａｎａで作ったものをエクスポート
　Ｓａｖｅｄ　Ｏｂｊｅｃｔでエクスポートできる
　もしくは、elasticサーチに入っている.kibana

・ＸＰＡＣＫ　Ｂａｓｉｃで一部の機能か使える
　(登録で無料になる）

Zabbix最新情報を聞いてきた！

９月１０日、オープンソースカンファレンス２０１７　Tokyo/Fallで

Ｚａｂｂｉｘ最新情報

を聞いてきたのでメモメモ

---

・自己紹介
　　日本Ｚａｂｂｉｘユーザー会（旧Ｚａｂｂｉｘ－ＪＰ）

・まずは
　Ｚａｂｂｉｘ３．４リリースされました！

・Ｚａｂｂｉｘとは
　ラトビアにあるＺａｂｂｉｘＬＬＣが開発
　オープンソース（ＧＰＬ）
　Ｗｅｂブラウザを使って監視設定
　専用エージェント、ＳＮＭＰ、ＳＳＨ
　グラフ化、マップ
　テンプレート
　ＡＰＩ→他システム連携も

・Zabbix3.0以降の新機能
　通信の暗号化と認証
　アイテム取得間隔の柔軟化
　マップやスクリーンの共有
　予測関数:将来的に、どう上がるか
　ＳＭＴＰ認証：メール通知→標準だと投げつけるだけ
　ログから数値取得
　ＳＮＭＰのＬＬＤ時のＯＩＤ複数化
　値のマッピングのインポート／エクスポートに対応
　各種デーモンをフォアグラウンドで実行可能
→Ｚａｂｂｉｘ３．０でどう変わるか　ＯＳＣ　２０１６　Ｔｏｋｙｏ／Ｓｐｒｉｎｇ

・Ｚａｂｂｉｘ３．２の新機動
　トリガーの手動クローズ
　イベントタグの設定
　イベント相関関係の設定
　ヒステリシストリガーの改善
　ＬＬＤで生成したアイテムの詳細確認
　Ｗｅｂシナリオのエクスポート・インポート
　イベント画面から障害画面へ
　ホストグループの階層化
→Ｆａｌｌで説明

・Ｚａｂｂｉｘ３．４について
　２０１７／８／２２に、バージョン３．４がリリース
　致命的不具合があったので、３．４．１を８月２８日にリリース
　ポイントリリース（サポート４．０がでた１か月後）
　３．２クローズ（フルサポート１０月まで）

・Ｚａｂｂｉｘ３．４の主な新機能
　Ｗｅｂインターフェースの改善
　アイテムの追加
　アイテムの保存前処理
　アイテムの値の同時収集
　スクリプトやコマンドの実行結果ハンドリング
　プロキシ経由でのリモートコマンド実行
　障害対応コメント入力時の通知
　通知処理の並列化対応
　ＪＭＸ監視の改善
　Ｗｅｂ監視のＵＲＬエンコーディング対応

→重要なもの紹介

・Ｗｅｂインターフェースカイゼン
　ダッシュボードのカスタマイズ
　マップの操作性向上
　入力欄の拡大

・ダッシュボード
　ウィジェットを好きなところに配置
　　表示できるウィジェット
　　　ＵＲＬ
　　　グラフ
　　　マップ
　　　マップなびげーしょん→マップをえらぶ

・アイテムの保存前処理
　春に紹介している
　追加：XML XPath,JSON Path
　　→値として使えるようになる

　アイテムに、保存前処理というのが追加された
　　そこで設定できる。

・アイテムの値の同時収集
　親アイテム；保存前処理を使って子アイテム
　例：Apacheのmod_status→アクセス数・・・

・スクリプトやコマンドの実行結果のハンドリング
　エラー発生時にwebインターフェースで確認

・プロキシ経由でのリモートコマンド実行

・障害対応コメント入力時の通知

・通知処理の並列化
　複数起動、同時にアクション実行できる（メールおくるとき）
　→メディアの設定で行う（オプションタブが追加された：カスタム、無制限）
　　無制限 zabbix_server.confのstartAlertersで

・ＪＭＸ監視の改善
　　固定化されたＪＭＸエンドポイントをカスタマイズ可能に

・３．４の注意点
　ソケットを使用した処理追加→SELinux変更必要かも？
　正規表現用のPosixからかえた
　ユーザーパラメータの終了コード
　アクションのデフォルトメッセージ変更

・まとめ
　かすたまいずひろがった
　標準で対応できるようになった
　ボトルネック改善された

機械学習パラダイス

著作権法47条の7という規定

この規定――外国だと“Article 47septies”となって言いにくいのだが――は、コンピュータで「情報解析」を行う際に著作物をコピーしても著作権侵害にならないとするものだ。今から8年前の2009年に設けられたこの規定が、今になって（思いもよらず）AIの発展に欠かせない機械学習に活用できそうなのだ。

例を挙げよう。宮崎駿監督のジブリ映画の特徴を解析して、同監督のスタイルで新しい映画を生成するAIを開発するために、同監督の映画すべてをコンピュータに入力したとする。これは他人の著作物を無断で複製したということになるが、この規定によって適法となる。

とのこと。

【引用元】（太字は下記から引用）
コラム：機械学習パラダイス（上野達弘）
http://rclip.jp/2017/09/09/201708column/

読書感想文は、電子書籍ＮＧだそうな・・・

「読書感想文を電子書籍で書くのはNG」ってどうして？　主催団体に聞いてみた
https://headlines.yahoo.co.jp/hl?a=20170909-00000006-it_nlab-sci

リチウムイオン、やばい

「背中が熱いな」ＪＲ山手線車内で火事
http://www.news24.jp/articles/2017/09/11/07372190.html