そんなら、障害者です。すんません・・・

「ええ歳こいてアニメ観てるような人間は障害者」　アニメ監督・山本寛氏の主張がまたも炎上
https://www.j-cast.com/2017/09/24309301.html

日本がまじでどうでもいい不倫のニュースを1秒でも流してる間に、世界は進んでる

中国の空港やばすぎかよ！
なにこのカート！
航空券スキャンして行き先の情報、搭乗口へのナビ全部ある！
映画も観れる！！！
もう歩きスマホっていう次元じゃねーぞ！！！！ pic.twitter.com/ci3ksJoclM


これは中国で会った技術系の友人も「日本はだいじょうぶか」と心配していた。欧米メーカーが諸外国の規制に合わせてガソリン車からＥＶへのシフトを全力で進めている中、日本メーカーは完全に出遅れている。ハイブリッド車は戦艦大和と同様の袋小路。


日本に未来に向かって欲しい....
中国にあれもこれも抜かされて後進国になったと気づいて欲しい

【引用元】
中国に抜かされた？！日常に普及している科学技術でその差は歴然。空港の「スマートカート」、「シェアバッテリー」などが羨ましい…「日本は過去の栄光にしがみついてないでやり返せ」
https://togetter.com/li/1153467

【関連】
日本だけが「AI仕事革命」に乗り遅れる、致命的な欠点が見えた
http://gendai.ismedia.jp/articles/-/52902

800円で、「大事な何か」を失うお仕事

「共産党に票を入れる人は反日」というブログ記事を書けば一件につき８００円の報酬がもらえることが判明。

【引用元(太字部が引用）】
https://twitter.com/logicalplz/status/910710936427651072
上記サイトにつぶやき＆その証拠写真

機械学習のためのソフトウェア工学まとめ

https://plus.google.com/+MasahiroSakai/posts/HesRadfyynE

【ついでに】
機械学習モノということで・・・
オープンデータを使った事例から学ぶ機械学習 on Code4Japan
https://speakerdeck.com/terapyon/opundetawoshi-tutashi-li-karaxue-buji-jie-xue-xi-on-code4japan

CCleanerのマルウェア混入問題はターゲット型攻撃だったと判明

システムクリーナーソフト「CCleaner」の正規版にマルウェアが混入した状態でダウンロード配信されていた問題で、Cisco傘下のセキュリティ部門Talosは、「マルウェアは特定の大企業を標的にしたターゲット型攻撃が目的だった」と発表しました。32ビット版CCleaner v5.33.6162やCCleaner Cloud v1.07.3191をインストールした人にはHDDやSSDのフォーマット・OS再インストールが推奨されています。


【引用元】
CCleanerのマルウェア混入問題はIntel・ソニー・Microsoftなど大企業を狙ったターゲット型攻撃だったと判明
http://gigazine.net/news/20170922-ccleaner-marware-target/

現代のスーパーコンピューターをはるかにしのぐ新型の量子コンピューター開発に成功

「量子テレポーテーション」と呼ばれる現象を利用して、現代のスーパーコンピューターをはるかにしのぐ新型の量子コンピューターの基本原理の開発に成功したと東京大学の研究チームが発表しました。


【引用元】

“究極の量子コンピューター” へ 基本原理開発に成功 東大
http://www3.nhk.or.jp/news/html/20170922/k10011152541000.html

複数の選択肢からもっともよさそうなものを選ぶ方法を聞いてきた！

９月２２日
第１３回ステアラボ人工知能セミナー
にいってきて、

多椀バンディット問題：定式化と応用

を聞いてきたのでメモ

---

■紹介
　次回：１０月２０日
　今日は

■多椀バンディット問題：定式化と応用
・自己紹介

・多椀バンディット問題とは
　複数の選択肢からもっともよさそうなものを選ぶ

・定式化
　各ラウンドｔ＝１，２，３・・・Ｔに
　アルゴリズムがアームＩ（ｔ）　｛１、・・・、Ｋ｝を選択したとき
　報酬を最大化する

・バンディット問題
　Ｋ個のスロットマシンがある
　一番高い期待報酬を求める
　　→部分フィードバック

　→探索と活用のトレードオフ
　　探索：全部のアームを調べたい
　　活用：一番良いアームを選びたい

・例：オンライン広告　代理店Ａ－Ｚのどこに出したらよいか

・アルゴリズム：過去の報酬情報を見て、次に選ぶアームを決定する

・３つの定式化
　　　ベイズ的：事前分布仮定 Gittins指数
　　　確率的：頻度UCB/TS/MED
　　　敵対的：Exp3

・ベイズ的バンディット問題
　事前分布のもとで、期待報酬最大化
　入力：割引因子、事前分布
　Gittins指数：ＧＩＴを最大化する
　良い点：
　　　最適アルゴリズム有
　　　アームの既知な変化を扱える
　欠点？：
　　　事前分布、割引因子に依存
　　　計算大変　ベルマン方程式を解く必要がある

・確率的バンディット問題
　　報酬は各アームに対応した確率分布からのサンプル
　　リグレット　報酬最大化＝リグレット最小化
　　漸近最適アルゴリズム
　→いくつサンプルがあれば、いちばんいいアームを選択できるか？
　良い点
　　漸近最適アルゴリズム
　　効率的アルゴリズム
　悪い点
　　報酬変化扱いにくい

・敵対的バンディット問題
　敵が不利な報酬を設定
　乱択すると一番良いアームを選べる
　　乱択アルゴリズムで有名なものＥｘｐ３

　良い点
　　仮定が弱い
　悪い点
　　性能悪い

・どれが使われている？
　　確率的と敵対的
　　ベイズ的はあまり見ない：計算が重い、学習できるかに興味

・どんな問題を扱える
　　報酬の過程が適切で
　　目的が報酬の最適化なら

　確率的＝状態がない
　敵対的＝状態は何でもＯＫ

・応用事例：オンライン広告
　　コンテキストありバンディット問題
　　　敵対的形式化→特徴量なし
　　　確率的形式化→線形回帰みたいなの（特徴量あり）

・応用事例：モンテカルロ木探索
　　　ゲーム木で表現
　　　難しい点：木のサイズ、評価が難しい：ＵＣＴは評価フリー
　　　ＵＣＴ＝ＵＣＢオーバーツリー
　　　ランダムプレイ：末端に１，０を埋めてしまう
　　　→いらないのは、早めに打ち切れる
　　あるふぁご
　　　ＵＣＴ＋評価関数
　　　真相学習を用いた４つの評価関数

・応用事例：推薦システム

・応用事例：Ａ／Ｂテスト
　　決定：検定？統計検定は、データ数固定
　　→Ａ／Ｂテストは結論出るまでやる
　　　　→どこかのサンプルでたまたま大きい値が出ることがある
　　逐次選択問題：尤度比を利用した方法

・組み合わせバンディット
　　→ＡＲＭ間に相関

・最適化：機械学習は最適化に落とすものが多いけど
　　同じものが選ばれると・・・

技術的負債は全額返済しないといけないのか？

素朴な疑問。
「負債」は無借金経営する会社も確かにあるけど、
一般的に負債があるから、いけないとはいえない。
安全性を上回る負債が有る場合（債務超過が典型的な例）はアウトだけど・・

じゃあ、技術的負債は？
債務超過のようにプロジェクトの安全性に支障をきたす場合はまずいけど、
すべて、返済する必要ってあるの？利益を削ってまでも？
（私は答えを持っていません。
　　「はい、あります」
　　「いいえ、ありません」
　どちらが正解かはわかりません。問題提起だけです）

人工知能という言葉自体が間違っている by GoogleのAIのトップ

彼によると、そもそも人工知能という用語が、正しい言葉ではないかもしれない。Giannandreaによると、人工知能という言葉にはあまり意味がない。“できれば、人工知能という言葉は使いたくないね。ビッグデータも、そんな言葉のひとつだ。漠然としすぎているし、明確な定義もない。まだ、マシンインテリジェンスの方がましだな”。

【引用元】
GoogleのAIのトップは曰く、人工知能という言葉自体が間違っている、誇大宣伝を生む温床だ
http://jp.techcrunch.com/2017/09/20/20170919googles-ai-chief-thinks-reports-of-the-ai-apocalypse-are-greatly-exaggerated/

Elasticsearch、kibana、Logstashを連携させるハンズオンしてきた

９月２１日、Elastic テクニカルワークショップに行ってきた！のでメモメモ

---

■自己紹介など

■はじめに
・Elasticsearchとは
　全文検索エンジン
・特徴
　スケールアウト
　スキーマレス
　マルチテナント
・今最も注目されている検索エンジン
　ダウンロード増えている（１億件突破）
　製品体系
　　ＯＳＳ：Elasticスタック
　　　kibana
　　　Elasticsearch
　　　Logstash
　　　Beats
　　有償:X-pack
　　Elastic cloud

・Acroquestとは
　　ＯＥＭパートナー

・Elastic{ON} Tour
　　カンファレンス。メインはサンフランシスコ
　　日本はアメリカに次ぐ世界２番目の参加
　　Acroquestは世界で３番目に参加者の多い会社
　　Ｔ３ブログ？

■ハンズオン
・自己紹介
・概要説明
　　データの収集・加工・転送
　　　１収集
　　　２加工Ｌｏｇｓｔａｓｈ
　　　３転送
　　ＥｌａｓｔｉｃSearchへのでーたとうにゅう
　　Ｋｉｂａｎａで可視化

　　Ｘ－Ｐａｃｋを使ってみる
　　　　セキュリティ
　　　　モニタリング
　　　　アラーティング
　　　　レポーティング
　　　　グラフ
　　　　マシーンラーニング→ＬＴで

・ハンズオンの前に
　　解凍
　　JAVA_HOMEの設定

・Elastic cloud
　　Elastic search,KibanaをＡＷＳへ

　　https://www.elastic.co/cloud

　新規の場合
　　トライアル：try it out
　　メールアドレスを入れる
　　メールを受信したら、Verify Email and Accept TOSをクリック
　 パスワード画面になるので、パスワード入力

　アカウント作っている人は、ここからログイン

　新規に作る「Create Cluster」（左側）
　　size：変更できない
　　プラットフォーム：ＡＷＳ　リージョン（変更可能）
　　ハイアベイラビリティ：データセンター　１データセンター
　　バージョン：デフォルト
　　(以下使わないので飛ばす）
　　
　Ｎａｍｅ：名前 自由に

　Ｃｒｅａｔｅをクリックすると、パスワードがでる。覚えておくこと

　　Configu　のMonitoringを
　　Disableを自分のクラスタ（this cluster)を選択してUpdate

　　Kibana endpointをクリックすると、認証画面が出てくる

　→Logstashは、クラウドにはない。ローカルで実行

・Logstashとは
　　ログを集める。外部へ転送
　　多数の公式プラグイン
　　設定ファイルを書いておく

　　input { stdin {} }

　　filter {}

　　output {
　　　stdout{
　　　　codec => rubydebug
　　　}
　　}

・演習１　つかってみる

　logstashのフォルダにいって
　　logstash.confを作成、上記の内容を書く

　logstashのフォルダまでcdして
　　bin\logstash -f logstash.conf
なにかいろいろでるけど、最終的に

[2017-09-21T13:53:22,010][INFO ][logstash.agent ] Successfully started
Logstash API endpoint {:port=>9600}

がでる。

Hello world

といれると

{
"@version" => "1",
"host" => "USER-PC",
"@timestamp" => 2017-09-21T04:58:46.597Z,
"message" => "Hello,world!\r"
}

みたいなのが出てくればＯＫ

・演習２　Filterの設定
　grok filter追加
filterに
　grok {
　　match => {
　　　"message" =>'%{HTTPDATE:date} %{IP:ip} <%{DATA:msg}>'
　　}
　}

追加

3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>

と入力

{
"date" => "22/Mar/2014:16:38:00 -0700",
"msg" => "This",
"@timestamp" => 2017-09-21T05:06:19.814Z,
"ip" => "183.60.215.50",
"@version" => "1",
"host" => "USER-PC",
"message" => "3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>\r"
}

というかんじででる。

＜＜解説＞＞
・match　マッチする
　そのあと正規表現

・演習３ geoip　地理情報
grokのあとに
geoip{
source => "ip"
}

を記入

3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>

と入力

{
"date" => "22/Mar/2014:16:38:00 -0700",
"msg" => "This",
"@timestamp" => 2017-09-21T05:12:09.701Z,
"geoip" => {
"city_name" => "Guangzhou",
"timezone" => "Asia/Shanghai",
"ip" => "183.60.215.50",
"latitude" => 23.1167,
"country_name" => "China",
"country_code2" => "CN",
"continent_code" => "AS",
"country_code3" => "CN",
"region_name" => "Guangdong",
"location" => {
"lon" => 113.25,
"lat" => 23.1167
},
"region_code" => "44",
"longitude" => 113.25
},
"ip" => "183.60.215.50",
"@version" => "1",
"host" => "USER-PC",
"message" => "3.22/Mar/2014:16:38:00 -0700 183.60.215.50 <This>\r"
}

とでる。

・ここまでのまとめ
　　収集：画面から
　　加工：Logstash
　　出力：画面に

　これから
　　収集：CSVから
　　加工：Logstash
　　出力：クラウドに転送

・Elasticsearchとは
　内部的　JSONで　Luceneを内包
　分散検索エンジン
　RESTful API

　データの集計：集計関数　geo_distance

・用語の確認
　ドキュメント：ＲＤＢの１レコード
　インデックス：ＲＤＢのテーブル→タイプが廃止されるので
　マッピング：ドキュメントの形式（ＲＤＢのＤＤＬ）
　　　フィールド
　　　フィールドのタイプ
　　→自動的に生成、明示的にマッピングできる


・今回
　　ＫｉｂａｎａのＣｏｎｓｏｌｅ（むかしのせんす）で
　　マッピング定義

　　Ｋｉｂａｎａの画面に
　　　ユーザー名：elastic
　　　パスワード：さきほどのパスワード
　　dev Toolsを選択　get to workをクリックすると、console
　　左にリクエストを書くと、右にレスポンス

　　左側にマッピングを張り
　　実行ボタン（三角形）をクリックする
　　"acknowledged": true　と出てくればＯＫ

・転送
complete.confをひらく
outputのhosts

　
type ..\qdlog.csv | bin\logstash -f ..\complete.conf
点がいっぱいでる

・可視化するデータの説明
　qdlog Quick Draw ミャンマーの福引アプリ

・kibana
　index patternを設定する
　management　の　indexpatternを選択
　indexpattern qdlog-*
Time Filter field name　@timmestamp
　でcreateボタンをクリック
　なんか一覧出る

　Discover　右上 Last 15 minitesをクリック
　absoluteで期間指定でGo
　searchとなったあと、
　棒グラフが表示される

　Visualization→パネルの１枚１枚
（１）Metricsを利用し、ユニークユーザー
　　Visualizeをクリック
　　＋をクリック
　　42 Metricをクリック
　　qd-logをクリック

　左側で、いろいろ変えられる
　　Aggregation　Unique Count
Field appUserID
　　実行
　saveをクリック
　　名前を付けて、Ｓａｖｅ

（２）「Data Tables」で上位

　　Visualizeをクリック
　　＋をクリック
　　data tablesをクリック
　　qd-logをクリック

　bucketsでsplit Rows
　Aggregation Terms
　Field appUserID

（３）Line Chart
　　Visualizeをクリック
　　＋をクリック
　　Ｌｉｎｅをクリック
　　qd-logをクリック
　
　　Y-Axisは変更なし

　　X-AxisをDate Histogramへ

　　sub backetを指定して、キャリアごとにわける


（４）Coodinate Map
　Ａｄｄ　Ａ　ｆｉｌｔｅｒで絞り込める

・Dashboardをつくる
　＋クリック
　add
　一覧がでてきたら、必要なものクリック
→ダッシュボードでフィルタをかけることができる

・まとめ
　基本的な流れ
　このあとx-pack


・X-Packとは
　有償サブスクリプション。まとめて

　セキュリティ
　　認証
　　権限
　　追加管理
　→デモ
　　ユーザーにロールをつけて、アクセス権限する
　　LDAP,ADとも連携できるが、ロールを作ることもできる(デフォルトあり）
　　　インデックスごと
　　　クラスターごと
　　KianaのManagementのSecurityで、ロールもユーザーも、作成・設定できる
　　　→ユーザーのロールにkibana userを入れないとkibanaが見れない

　アラーティング（ウォッチャー）
　　　セキュリティ侵害
　　　ソーシャルメディアで話題になってる
　　　ログにクレジットカード番号
　　などなど。。

　　watchに定義する
　　　トリガー：どのタイミングで
　　　インプット：条件判定
　　　コンディション：実行するか
　　　アクション：振る舞い
　　　→これらをJSONで設定

　　　KianaのManagementのElasticsearchのWatcherを選択
　　　Watch JSONにトリガー、インプット、コンディション、アクションをJSONで書く
　　　Simulateでシミュレーションできる　　　　　

　モニタリング
　　状況を見れる
　　watcherとくみあわせるといい

　レポーティング
　　ダッシュボード

　グラフ
　　関連度の強さ

■事例紹介
・
　マイクロソフト
　ＵＳＧＳ
　星野リゾート

・マイクロソフト
　ＭＳＮ　searchの基盤

・ＵＳＧＳ
　国の機関
　Twitterストリーム分析

・そのほか
　ＮＡＳＡ
　ebay
　ＷｉｋｉＭｅｄｉａ
　ゴールドマンサックス

・用途
　せきゅりてぃ
　検索
　ログ分析
　　→高い価値を見出す

　経営情報の可視化
　　星野リゾート

・動画

・星野リゾートの事例

・まとめ
　その場で変えていける
　可視化には、ノウハウ必要

■ＬＴ
・Elastic {ON} 2017 San Francisco
　バージョン５での新機能
　　x-pack マシーンラーニング
　　ＵＩの大幅な強化

・X-Packマシンラーニング
　　異常検知：データの傾向を学習
　インフルーエンサー
　　なんで異常なのかの判定
　デモ
　　航空機の座席予約のレスポンス
　　Machine Lerningを選択
　　　JOB:シングルで
　　　Creare Job
　　　JOB:マルチで
　　　　→インフルーエンサー：複数の軸をまたがって見える
　ぷりらーとが作っていた

　ユースケース

・Logstash Pipeline Visualizer
　Ｌｏｇｓｔａｓｈのきょどうをkibanaで見える
　Kibanaのモニタリングの画面から

・タイムシリーズビジュアルビルダー
　KibanaのVisualizeの中にある

・まだ実装されていない（バージョン６）
　Elastic search SQL
　Kibana Canvas：表現の幅が広がる

・もうひとつ
　Taste of Tech Topic T3ブログ
http://acro-engineer.hatenablog.com/

Ｑ＆Ａ
・６は？
　正式アナウンスまだ
　去年は１０月に出た

・データ互換は？
　公式ホームページでアナウンス
　５から６は、システム止めずにバージョンアップ

・異常検知
　　精度を測る指標→自前の機械学習と比較したり

■本格導入に知っておきたい１つのこと
・ＯＳＳだから、タダだから・・・ただより高いものはない
　→教育、人材、カスタマイズ

・商用利用ならサブスクリプションは必須
　　安心
　　安全
　　説明責任

・サブスクリプションはケースバイケース

・えらすてょっくでも、アクロクエストでもいいよ

AIによって儲ける会社と儲からない会社の差（現場とマスコミ・経営者の差）

きのうの、

キュウリ仕分け機について、聞いてきた！
http://blog.goo.ne.jp/xmldtp/e/ed1b3daff23efefa59e53c1a8dd84314

で、
　実用化に近づいた３号機では、
　　大きさなどはディープラーニング
　　傷、色の見分け、箱詰めは人間
　と人間と人工知能が協業している形になっている。

と書いたけど、実際今実用化になって、お金になろうとしているAI
は「人間と人工知能が協業」する分野で、マスコミや経営者が考える
シンギュラリティの分野ではない。もし、そんなのを信じていると、
完全にAI負け組みになるという話をしてみたい。

---

■AIの４象限

（広義の）AIといわれるものは、分野でわけると、
　・分野が確立しているもの
　　　自然言語処理、音声認識、画像認識など
　　　かつてAIといわれたが、技術が確立され、一分野を形成し、
　　　現在では、（狭義の）AIからは外れている

　・分野がまだ確立していないもの
　　　感情をもったり、人間の代わりに仕事をする、シンギュラリティなどは
　　　定義が出来ていないレベルなので、分野として確立していない

また、（広義の）AIといわれるものは、技術でわけると、

　・ディープラーニング
　・ディープラーニング前
　　　　分類：SVM、ランダムフォレスト、決定木
　　　　(連続値の）予測：回帰
　　　　その他検索、探索技術など

に分けられる。それぞれの分野によってできる４象限は、こんなかんじ

---

■現場のAI
　今現場で起こっているのは、自然言語処理、音声認識、画像認識など
（確立された分野で）いままでSVMを使っていたところを、CNNに変えようか
どうしようかという話＆いままで、機械学習を入れていなかったところに、
機械学習をいれてみようかという話（必ずしもディープラーニングではない）

具体的に多い話は
　　・音声認識
　　　　自動的にメモする
　　　　認証
　　・画像認識
　　　　OCRはだいたい→フォーマット認識へ
このへんが、CNNへ向かっている。

あと新しい分野については
　　・チャットBot

っていうかんじ。この分野は、もう案件レベルなので、これを扱える技術者さんが
いないと淘汰されるというかんじ。とくに、これらはクラウド必須になってくるので、
クラウド（特にAWS）の知識が必要になる。

　この分野は、もうじき技術が透明化（当たり前に使われる）ようになる。
　仕様は人間と人工知能が協業している形になり、人工知能をどこまで使うかが
　問題になる。

---

■マスコミのAI

　それに対して、マスコミの言っているAIは、人間の仕事に取って代わる
とか、シンギュラリティとか、まだまだ先の話を楽しんで言っている。

　この分野は、ゴールがはっきりしないので、セミナーとかは出来るけど
実用的な話にならず、お金にならない。

　たぶん、ブームとして、そのうち、話は終わるものと思われる。

---

■ソフトハウス的にやばいのは・・・

　後者のマスコミの話に引きずられて、AIはまだまだ、ブームだとか
言っていると、前者のように現場ではどんどん入っているので、社員が
今のAI技術、クラウド技術に対応できなくなり、ひいては不良在庫化する
こと。

　このままいくと、AIとかクラウドは当たり前に入ってきて、
それができない技術者さんは、仕事を割り当てられなくなるって
いうことも起こりそうな気配・・・

　そういう意味では、AIが人の仕事を奪ってるんだけどね。

中国で使えないWebサービス

Youtube、DropBox・・・

中国で使えないWebサービス
https://note.mu/mikiokubo/n/nba1c0e31643c

【つづき】

激変する中国のメッセンジャー事情。人気アプリWhatsAppは使用不能、WeChatはユーザー情報を政府と共有と明記
http://japanese.engadget.com/2017/09/29/whatsapp-wechat/

つい出来心で、女性の下着の広告をクリックしてしまいました・・・

そしたら、広告があるサイトを開くたびに（Ｙａｈｏｏ，Ｇｏｏ．．．）
女性の下着写真がでるのです。仕事中でも・・・
明日、このパソコンを使うのに・・・やばいです・・

SlackにSoftbankが巨額投資

SoftBank、評価額51億ドルでSlackに巨額投資
http://jp.techcrunch.com/2017/09/19/20170917slack-raises-a-huge-financing-round-from-softbank-valuing-the-company-at-5-1b/

URL短縮サービス終了により

その数なんと約880万件、URL短縮サービス終了により発行済みの短縮URLがすべて無効化
http://internet.watch.impress.co.jp/docs/yajiuma/1081357.html
（以下太字は上記サイトより引用）

pixivが運営していた短縮URLサービス「p.tl」で、9月29日（金）の12時をもってサービスを終了することが告知されたのだが、新規の受付を停止するだけでなく、これまでに発行された短縮URLが上記期日をもってリンク切れになる