人工知能という言葉自体が間違っている by GoogleのAIのトップ

彼によると、そもそも人工知能という用語が、正しい言葉ではないかもしれない。Giannandreaによると、人工知能という言葉にはあまり意味がない。“できれば、人工知能という言葉は使いたくないね。ビッグデータも、そんな言葉のひとつだ。漠然としすぎているし、明確な定義もない。まだ、マシンインテリジェンスの方がましだな”。

【引用元】
GoogleのAIのトップは曰く、人工知能という言葉自体が間違っている、誇大宣伝を生む温床だ
http://jp.techcrunch.com/2017/09/20/20170919googles-ai-chief-thinks-reports-of-the-ai-apocalypse-are-greatly-exaggerated/

Elasticsearch、kibana、Logstashを連携させるハンズオンしてきた

９月２１日、Elastic テクニカルワークショップに行ってきた！のでメモメモ

---

■自己紹介など

■はじめに
・Elasticsearchとは
　全文検索エンジン
・特徴
　スケールアウト
　スキーマレス
　マルチテナント
・今最も注目されている検索エンジン
　ダウンロード増えている（１億件突破）
　製品体系
　　ＯＳＳ：Elasticスタック
　　　kibana
　　　Elasticsearch
　　　Logstash
　　　Beats
　　有償:X-pack
　　Elastic cloud

・Acroquestとは
　　ＯＥＭパートナー

・Elastic{ON} Tour
　　カンファレンス。メインはサンフランシスコ
　　日本はアメリカに次ぐ世界２番目の参加
　　Acroquestは世界で３番目に参加者の多い会社
　　Ｔ３ブログ？

■ハンズオン
・自己紹介
・概要説明
　　データの収集・加工・転送
　　　１収集
　　　２加工Ｌｏｇｓｔａｓｈ
　　　３転送
　　ＥｌａｓｔｉｃSearchへのでーたとうにゅう
　　Ｋｉｂａｎａで可視化

　　Ｘ－Ｐａｃｋを使ってみる
　　　　セキュリティ
　　　　モニタリング
　　　　アラーティング
　　　　レポーティング
　　　　グラフ
　　　　マシーンラーニング→ＬＴで

・ハンズオンの前に
　　解凍
　　JAVA_HOMEの設定

・Elastic cloud
　　Elastic search,KibanaをＡＷＳへ

　　https://www.elastic.co/cloud

　新規の場合
　　トライアル：try it out
　　メールアドレスを入れる
　　メールを受信したら、Verify Email and Accept TOSをクリック
　 パスワード画面になるので、パスワード入力

　アカウント作っている人は、ここからログイン

　新規に作る「Create Cluster」（左側）
　　size：変更できない
　　プラットフォーム：ＡＷＳ　リージョン（変更可能）
　　ハイアベイラビリティ：データセンター　１データセンター
　　バージョン：デフォルト
　　(以下使わないので飛ばす）
　　
　Ｎａｍｅ：名前 自由に

　Ｃｒｅａｔｅをクリックすると、パスワードがでる。覚えておくこと

　　Configu　のMonitoringを
　　Disableを自分のクラスタ（this cluster)を選択してUpdate

　　Kibana endpointをクリックすると、認証画面が出てくる

　→Logstashは、クラウドにはない。ローカルで実行

・Logstashとは
　　ログを集める。外部へ転送
　　多数の公式プラグイン
　　設定ファイルを書いておく

　　input { stdin {} }

　　filter {}

　　output {
　　　stdout{
　　　　codec => rubydebug
　　　}
　　}

・演習１　つかってみる

　logstashのフォルダにいって
　　logstash.confを作成、上記の内容を書く

　logstashのフォルダまでcdして
　　bin\logstash -f logstash.conf
なにかいろいろでるけど、最終的に

[2017-09-21T13:53:22,010][INFO ][logstash.agent ] Successfully started
Logstash API endpoint {:port=>9600}

がでる。

Hello world

といれると

{
"@version" => "1",
"host" => "USER-PC",
"@timestamp" => 2017-09-21T04:58:46.597Z,
"message" => "Hello,world!\r"
}

みたいなのが出てくればＯＫ

・演習２　Filterの設定
　grok filter追加
filterに
　grok {
　　match => {
　　　"message" =>'%{HTTPDATE:date} %{IP:ip} <%{DATA:msg}>'
　　}
　}

追加

3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>

と入力

{
"date" => "22/Mar/2014:16:38:00 -0700",
"msg" => "This",
"@timestamp" => 2017-09-21T05:06:19.814Z,
"ip" => "183.60.215.50",
"@version" => "1",
"host" => "USER-PC",
"message" => "3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>\r"
}

というかんじででる。

＜＜解説＞＞
・match　マッチする
　そのあと正規表現

・演習３ geoip　地理情報
grokのあとに
geoip{
source => "ip"
}

を記入

3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>

と入力

{
"date" => "22/Mar/2014:16:38:00 -0700",
"msg" => "This",
"@timestamp" => 2017-09-21T05:12:09.701Z,
"geoip" => {
"city_name" => "Guangzhou",
"timezone" => "Asia/Shanghai",
"ip" => "183.60.215.50",
"latitude" => 23.1167,
"country_name" => "China",
"country_code2" => "CN",
"continent_code" => "AS",
"country_code3" => "CN",
"region_name" => "Guangdong",
"location" => {
"lon" => 113.25,
"lat" => 23.1167
},
"region_code" => "44",
"longitude" => 113.25
},
"ip" => "183.60.215.50",
"@version" => "1",
"host" => "USER-PC",
"message" => "3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>\r"
}

とでる。

・ここまでのまとめ
　　収集：画面から
　　加工：Logstash
　　出力：画面に

　これから
　　収集：CSVから
　　加工：Logstash
　　出力：クラウドに転送

・Elasticsearchとは
　内部的　JSONで　Luceneを内包
　分散検索エンジン
　RESTful API

　データの集計：集計関数　geo_distance

・用語の確認
　ドキュメント：ＲＤＢの１レコード
　インデックス：ＲＤＢのテーブル→タイプが廃止されるので
　マッピング：ドキュメントの形式（ＲＤＢのＤＤＬ）
　　　フィールド
　　　フィールドのタイプ
　　→自動的に生成、明示的にマッピングできる


・今回
　　ＫｉｂａｎａのＣｏｎｓｏｌｅ（むかしのせんす）で
　　マッピング定義

　　Ｋｉｂａｎａの画面に
　　　ユーザー名：elastic
　　　パスワード：さきほどのパスワード
　　dev Toolsを選択　get to workをクリックすると、console
　　左にリクエストを書くと、右にレスポンス

　　左側にマッピングを張り
　　実行ボタン（三角形）をクリックする
　　"acknowledged": true　と出てくればＯＫ

・転送
complete.confをひらく
outputのhosts

　
type ..\qdlog.csv | bin\logstash -f ..\complete.conf
点がいっぱいでる

・可視化するデータの説明
　qdlog Quick Draw ミャンマーの福引アプリ

・kibana
　index patternを設定する
　management　の　indexpatternを選択
　indexpattern qdlog-*
Time Filter field name　@timmestamp
　でcreateボタンをクリック
　なんか一覧出る

　Discover　右上 Last 15 minitesをクリック
　absoluteで期間指定でGo
　searchとなったあと、
　棒グラフが表示される

　Visualization→パネルの１枚１枚
（１）Metricsを利用し、ユニークユーザー
　　Visualizeをクリック
　　＋をクリック
　　42 Metricをクリック
　　qd-logをクリック

　左側で、いろいろ変えられる
　　Aggregation　Unique Count
Field appUserID
　　実行
　saveをクリック
　　名前を付けて、Ｓａｖｅ

（２）「Data Tables」で上位

　　Visualizeをクリック
　　＋をクリック
　　data tablesをクリック
　　qd-logをクリック

　bucketsでsplit Rows
　Aggregation Terms
　Field appUserID

（３）Line Chart
　　Visualizeをクリック
　　＋をクリック
　　Ｌｉｎｅをクリック
　　qd-logをクリック
　
　　Y-Axisは変更なし

　　X-AxisをDate Histogramへ

　　sub backetを指定して、キャリアごとにわける


（４）Coodinate Map
　Ａｄｄ　Ａ　ｆｉｌｔｅｒで絞り込める

・Dashboardをつくる
　＋クリック
　add
　一覧がでてきたら、必要なものクリック
→ダッシュボードでフィルタをかけることができる

・まとめ
　基本的な流れ
　このあとx-pack


・X-Packとは
　有償サブスクリプション。まとめて

　セキュリティ
　　認証
　　権限
　　追加管理
　→デモ
　　ユーザーにロールをつけて、アクセス権限する
　　LDAP,ADとも連携できるが、ロールを作ることもできる(デフォルトあり）
　　　インデックスごと
　　　クラスターごと
　　KianaのManagementのSecurityで、ロールもユーザーも、作成・設定できる
　　　→ユーザーのロールにkibana userを入れないとkibanaが見れない

　アラーティング（ウォッチャー）
　　　セキュリティ侵害
　　　ソーシャルメディアで話題になってる
　　　ログにクレジットカード番号
　　などなど。。

　　watchに定義する
　　　トリガー：どのタイミングで
　　　インプット：条件判定
　　　コンディション：実行するか
　　　アクション：振る舞い
　　　→これらをJSONで設定

　　　KianaのManagementのElasticsearchのWatcherを選択
　　　Watch JSONにトリガー、インプット、コンディション、アクションをJSONで書く
　　　Simulateでシミュレーションできる　　　　　

　モニタリング
　　状況を見れる
　　watcherとくみあわせるといい

　レポーティング
　　ダッシュボード

　グラフ
　　関連度の強さ

■事例紹介
・
　マイクロソフト
　ＵＳＧＳ
　星野リゾート

・マイクロソフト
　ＭＳＮ　searchの基盤

・ＵＳＧＳ
　国の機関
　Twitterストリーム分析

・そのほか
　ＮＡＳＡ
　ebay
　ＷｉｋｉＭｅｄｉａ
　ゴールドマンサックス

・用途
　せきゅりてぃ
　検索
　ログ分析
　　→高い価値を見出す

　経営情報の可視化
　　星野リゾート

・動画

・星野リゾートの事例

・まとめ
　その場で変えていける
　可視化には、ノウハウ必要

■ＬＴ
・Elastic {ON} 2017 San Francisco
　バージョン５での新機能
　　x-pack マシーンラーニング
　　ＵＩの大幅な強化

・X-Packマシンラーニング
　　異常検知：データの傾向を学習
　インフルーエンサー
　　なんで異常なのかの判定
　デモ
　　航空機の座席予約のレスポンス
　　Machine Lerningを選択
　　　JOB:シングルで
　　　Creare Job
　　　JOB:マルチで
　　　　→インフルーエンサー：複数の軸をまたがって見える
　ぷりらーとが作っていた

　ユースケース

・Logstash Pipeline Visualizer
　Ｌｏｇｓｔａｓｈのきょどうをkibanaで見える
　Kibanaのモニタリングの画面から

・タイムシリーズビジュアルビルダー
　KibanaのVisualizeの中にある

・まだ実装されていない（バージョン６）
　Elastic search SQL
　Kibana Canvas：表現の幅が広がる

・もうひとつ
　Taste of Tech Topic T3ブログ
http://acro-engineer.hatenablog.com/

Ｑ＆Ａ
・６は？
　正式アナウンスまだ
　去年は１０月に出た

・データ互換は？
　公式ホームページでアナウンス
　５から６は、システム止めずにバージョンアップ

・異常検知
　　精度を測る指標→自前の機械学習と比較したり

■本格導入に知っておきたい１つのこと
・ＯＳＳだから、タダだから・・・ただより高いものはない
　→教育、人材、カスタマイズ

・商用利用ならサブスクリプションは必須
　　安心
　　安全
　　説明責任

・サブスクリプションはケースバイケース

・えらすてょっくでも、アクロクエストでもいいよ

AIによって儲ける会社と儲からない会社の差（現場とマスコミ・経営者の差）

きのうの、

キュウリ仕分け機について、聞いてきた！
http://blog.goo.ne.jp/xmldtp/e/ed1b3daff23efefa59e53c1a8dd84314

で、
　実用化に近づいた３号機では、
　　大きさなどはディープラーニング
　　傷、色の見分け、箱詰めは人間
　と人間と人工知能が協業している形になっている。

と書いたけど、実際今実用化になって、お金になろうとしているAI
は「人間と人工知能が協業」する分野で、マスコミや経営者が考える
シンギュラリティの分野ではない。もし、そんなのを信じていると、
完全にAI負け組みになるという話をしてみたい。

---

■AIの４象限

（広義の）AIといわれるものは、分野でわけると、
　・分野が確立しているもの
　　　自然言語処理、音声認識、画像認識など
　　　かつてAIといわれたが、技術が確立され、一分野を形成し、
　　　現在では、（狭義の）AIからは外れている

　・分野がまだ確立していないもの
　　　感情をもったり、人間の代わりに仕事をする、シンギュラリティなどは
　　　定義が出来ていないレベルなので、分野として確立していない

また、（広義の）AIといわれるものは、技術でわけると、

　・ディープラーニング
　・ディープラーニング前
　　　　分類：SVM、ランダムフォレスト、決定木
　　　　(連続値の）予測：回帰
　　　　その他検索、探索技術など

に分けられる。それぞれの分野によってできる４象限は、こんなかんじ

---

■現場のAI
　今現場で起こっているのは、自然言語処理、音声認識、画像認識など
（確立された分野で）いままでSVMを使っていたところを、CNNに変えようか
どうしようかという話＆いままで、機械学習を入れていなかったところに、
機械学習をいれてみようかという話（必ずしもディープラーニングではない）

具体的に多い話は
　　・音声認識
　　　　自動的にメモする
　　　　認証
　　・画像認識
　　　　OCRはだいたい→フォーマット認識へ
このへんが、CNNへ向かっている。

あと新しい分野については
　　・チャットBot

っていうかんじ。この分野は、もう案件レベルなので、これを扱える技術者さんが
いないと淘汰されるというかんじ。とくに、これらはクラウド必須になってくるので、
クラウド（特にAWS）の知識が必要になる。

　この分野は、もうじき技術が透明化（当たり前に使われる）ようになる。
　仕様は人間と人工知能が協業している形になり、人工知能をどこまで使うかが
　問題になる。

---

■マスコミのAI

　それに対して、マスコミの言っているAIは、人間の仕事に取って代わる
とか、シンギュラリティとか、まだまだ先の話を楽しんで言っている。

　この分野は、ゴールがはっきりしないので、セミナーとかは出来るけど
実用的な話にならず、お金にならない。

　たぶん、ブームとして、そのうち、話は終わるものと思われる。

---

■ソフトハウス的にやばいのは・・・

　後者のマスコミの話に引きずられて、AIはまだまだ、ブームだとか
言っていると、前者のように現場ではどんどん入っているので、社員が
今のAI技術、クラウド技術に対応できなくなり、ひいては不良在庫化する
こと。

　このままいくと、AIとかクラウドは当たり前に入ってきて、
それができない技術者さんは、仕事を割り当てられなくなるって
いうことも起こりそうな気配・・・

　そういう意味では、AIが人の仕事を奪ってるんだけどね。

中国で使えないWebサービス

Youtube、DropBox・・・

中国で使えないWebサービス
https://note.mu/mikiokubo/n/nba1c0e31643c

【つづき】

激変する中国のメッセンジャー事情。人気アプリWhatsAppは使用不能、WeChatはユーザー情報を政府と共有と明記
http://japanese.engadget.com/2017/09/29/whatsapp-wechat/

つい出来心で、女性の下着の広告をクリックしてしまいました・・・

そしたら、広告があるサイトを開くたびに（Ｙａｈｏｏ，Ｇｏｏ．．．）
女性の下着写真がでるのです。仕事中でも・・・
明日、このパソコンを使うのに・・・やばいです・・