NHKさん、ビッグデータかAIかよくわからない視覚化した統計情報のようなもので、相関性が不安になる内容を特番で放送予定
https://togetter.com/li/1130945
(以下太字は上記サイトより引用)
「40代の一人暮らしが増えると空き家が餓死が増える」
擬似相関ですよね。
そこにも出てくるけど、
貧困の人が多くなると・・・
40代の一人暮らしが増える
空き家が増える
餓死が増えることがまさに貧困だ
「コンビニが増えたら自殺者が増える」
これも疑似相関ですよね。
都市化が進むと
コンビニ増える
+
うつ病の人も増える
一人暮らしの人も増える
貧困も増える
結果として、自殺者も増える
たぶん、都市化が進んでいるというより、
地方が衰退してるんだと思う、急速に・・・
■AIとビッグデータを使うと、どうして疑似相関が多くなるのか
データを表面的にしか見ないから。解釈しないから。
解釈・理解していないということは、下記の新井先生のブログで言っている通り
プログラミング教育なんてやっている場合ではない
http://blog.goo.ne.jp/xmldtp/e/c282ca7d46c01fa8ad707ac4bb796864
で、物事には、観測変数という表に見えて測定できる変数のほかに
潜在変数というのがある。
今やっているAIやビッグデータの解析は、観測変数の関係だけ
を行っている(のが主流)。
実際には、観測変数で見えている世界の背後に、
原因となる潜在因子がある。
この潜在因子を見つけるのに役立つのが、(探索的)因子分析で、
それをもとに人間が潜在変数を考え、
その考え方多しいかどうかを、共分散構造分析などで確認する。
この手法はビッグデータ前のマーケティングでは普通に行われていたが、
なぜか、ビッグデータ以降は、いわれなくなって。
AIやビッグデータはデータを「理解」できないので、潜在因子を想像して
モデル化することができない。
さらには、最近のビッグデータブームは、統計の技術を駆使
しているわけはなく、なぜか因子分析と共分散構造分析は使わない・・・
(主成分分析はするんだけどね・・・)
なので、だれがみても、こういうおかしい現象が起こるわけ。
これがビッグデータだ、AIだって騒ぐ限界なのよ。
【追加7月26日】
「40代ひとり暮らしが日本を滅ぼす」NスペのAI提言は本当か
https://headlines.yahoo.co.jp/article?a=20170725-00136199-diamond-soci
【追加7月27日】
疑似相関について
https://twitter.com/podoron/status/889475502209064960
【追加7月30日】
NHK渾身の「AIに聞いてみた」が炎上した必然
バズるワードへの傾倒がもたらす報道の歪み
http://toyokeizai.net/articles/amp/182300
https://togetter.com/li/1130945
(以下太字は上記サイトより引用)
「40代の一人暮らしが増えると空き家が餓死が増える」
擬似相関ですよね。
そこにも出てくるけど、
貧困の人が多くなると・・・
40代の一人暮らしが増える
空き家が増える
餓死が増えることがまさに貧困だ
「コンビニが増えたら自殺者が増える」
これも疑似相関ですよね。
都市化が進むと
コンビニ増える
+
うつ病の人も増える
一人暮らしの人も増える
貧困も増える
結果として、自殺者も増える
たぶん、都市化が進んでいるというより、
地方が衰退してるんだと思う、急速に・・・
■AIとビッグデータを使うと、どうして疑似相関が多くなるのか
データを表面的にしか見ないから。解釈しないから。
解釈・理解していないということは、下記の新井先生のブログで言っている通り
プログラミング教育なんてやっている場合ではない
http://blog.goo.ne.jp/xmldtp/e/c282ca7d46c01fa8ad707ac4bb796864
で、物事には、観測変数という表に見えて測定できる変数のほかに
潜在変数というのがある。
今やっているAIやビッグデータの解析は、観測変数の関係だけ
を行っている(のが主流)。
実際には、観測変数で見えている世界の背後に、
原因となる潜在因子がある。
この潜在因子を見つけるのに役立つのが、(探索的)因子分析で、
それをもとに人間が潜在変数を考え、
その考え方多しいかどうかを、共分散構造分析などで確認する。
この手法はビッグデータ前のマーケティングでは普通に行われていたが、
なぜか、ビッグデータ以降は、いわれなくなって。
AIやビッグデータはデータを「理解」できないので、潜在因子を想像して
モデル化することができない。
さらには、最近のビッグデータブームは、統計の技術を駆使
しているわけはなく、なぜか因子分析と共分散構造分析は使わない・・・
(主成分分析はするんだけどね・・・)
なので、だれがみても、こういうおかしい現象が起こるわけ。
これがビッグデータだ、AIだって騒ぐ限界なのよ。
【追加7月26日】
「40代ひとり暮らしが日本を滅ぼす」NスペのAI提言は本当か
https://headlines.yahoo.co.jp/article?a=20170725-00136199-diamond-soci
【追加7月27日】
疑似相関について
https://twitter.com/podoron/status/889475502209064960
【追加7月30日】
NHK渾身の「AIに聞いてみた」が炎上した必然
バズるワードへの傾倒がもたらす報道の歪み
http://toyokeizai.net/articles/amp/182300
7月21日、InfoTalk
IoTと画像処理で未来のフツウを作る
映像解析IoTプラットフォーム「SCORER]
を聞いてきたので、メモメモ
■ご案内
■講演
・自己紹介
・映像解析IoT
・IoTの3要素
モノ クラウド ネットワーク
センサー
・センサー市場
419億個 光電磁波→カメラ
・画像センサー:伸びている市場
カメラ台数→スマートフォンで12.8億台
・いたるところに映像センサー
価格の下落:100円切ってきた
1200万画素があたりまえ 4K8000万画素
通信環境
映像解析の進歩
・チューニングなしで人間を解析できる
どのぐらい見られているか:マーケティング
作業の評価カイゼン
計画の最適化
・映像データを汎用センサー
・映像データは宝の山
それじゃあDIYしてみます→どうやって?
・基本専用
もっと気軽に映像
・クラウド、カメラ問わない
・SCORER
カメラの管理システム
セキュアで安価
アルゴリズムを作らない:組み合わせ
即座に使える便利なパーツ
・映像解析システムを気軽に構築
オムロン AIカメラ
HDMI→一眼レフ
アルゴリズム:オムロン、NEC,せんすたいむ、XRビジョン
・映像解析:クラウドでもエッジでも
・通信サービス
・指向性WiFi
可視光通信、サブギガ→再起動用
・事例紹介
インストアマーケティング
パスポートリーダー:1か月半で作っている
空家のセンサ→保育園
工場・製造工程分析
ビーコン:なにがおきたかわからない
→監視カメラ
タイヤの溝の深さ
苦労と工夫
(1)クラウド
案件変わるとサーバー:メンテナンスコスト
→今、サーバーレス
イベントドリブンで:きちんと組むのは大変
ユーザー管理:こぐにとに任せる
IoTでは、サーバーレスが最高です!
(2)エッジ解析端末
ドライバの問題:ドライバない、変
OSの安定稼働
はーどがこわれるより、データの中身がこわれる
ディスコンされるリスク
ラズベリーPiとUPボード
Raspberry Pi3素晴らしい:400万台中、200万台が産業用
(3)ネットワーク
WiFi:トラブル続出
日によってつながらない:DHCPアドレス
通信遅い:電子レンジ→5GHz使っている
死んだように見える
再起動したらつながりません。
昼間アップロードできない。UPストリーム不足
電源のフリーズ:80Vに下がったり、瞬停したり
メモリに影響:死ぬ
らずらいと:死活監視でつかっている(さぶぎが)
必要データを先にあげる:基本つながらない
・私にとってもIoT
未来の可能性を感じる面白さ・けど大変
スコアラー スターターキット売っている
ラズパイマガジン
技術ブログ
・カメラの利用ガイドブック
・SCORER
・Lider
技術はタイミング
・セキュリティ:最悪VPNにすれば
どこまで求めている?
→流出させない
・Raspberry Piの耐久性(とくにSDカード)
耐久性:1年半稼働しっぱなし、3日で壊れることも
MLC(TLCはある:書き込みミスのほうが重要)
壊れたら?行くことも→交換機を置いておいてしまう。
・ボール認識
円をとってくる。色で識別して円を抜く、
物理的な動きをするので、トラッキングする
動態検知
・Raspberry Piの始め方
やりたいことを見つける
ハッカソン
追加
資料
https://www.slideshare.net/FutureStandard/ceo-103infotalk-iot-jul-21st-2017
IoTと画像処理で未来のフツウを作る
映像解析IoTプラットフォーム「SCORER]
を聞いてきたので、メモメモ
■ご案内
■講演
・自己紹介
・映像解析IoT
・IoTの3要素
モノ クラウド ネットワーク
センサー
・センサー市場
419億個 光電磁波→カメラ
・画像センサー:伸びている市場
カメラ台数→スマートフォンで12.8億台
・いたるところに映像センサー
価格の下落:100円切ってきた
1200万画素があたりまえ 4K8000万画素
通信環境
映像解析の進歩
・チューニングなしで人間を解析できる
どのぐらい見られているか:マーケティング
作業の評価カイゼン
計画の最適化
・映像データを汎用センサー
・映像データは宝の山
それじゃあDIYしてみます→どうやって?
・基本専用
もっと気軽に映像
・クラウド、カメラ問わない
・SCORER
カメラの管理システム
セキュアで安価
アルゴリズムを作らない:組み合わせ
即座に使える便利なパーツ
・映像解析システムを気軽に構築
オムロン AIカメラ
HDMI→一眼レフ
アルゴリズム:オムロン、NEC,せんすたいむ、XRビジョン
・映像解析:クラウドでもエッジでも
・通信サービス
・指向性WiFi
可視光通信、サブギガ→再起動用
・事例紹介
インストアマーケティング
パスポートリーダー:1か月半で作っている
空家のセンサ→保育園
工場・製造工程分析
ビーコン:なにがおきたかわからない
→監視カメラ
タイヤの溝の深さ
苦労と工夫
(1)クラウド
案件変わるとサーバー:メンテナンスコスト
→今、サーバーレス
イベントドリブンで:きちんと組むのは大変
ユーザー管理:こぐにとに任せる
IoTでは、サーバーレスが最高です!
(2)エッジ解析端末
ドライバの問題:ドライバない、変
OSの安定稼働
はーどがこわれるより、データの中身がこわれる
ディスコンされるリスク
ラズベリーPiとUPボード
Raspberry Pi3素晴らしい:400万台中、200万台が産業用
(3)ネットワーク
WiFi:トラブル続出
日によってつながらない:DHCPアドレス
通信遅い:電子レンジ→5GHz使っている
死んだように見える
再起動したらつながりません。
昼間アップロードできない。UPストリーム不足
電源のフリーズ:80Vに下がったり、瞬停したり
メモリに影響:死ぬ
らずらいと:死活監視でつかっている(さぶぎが)
必要データを先にあげる:基本つながらない
・私にとってもIoT
未来の可能性を感じる面白さ・けど大変
スコアラー スターターキット売っている
ラズパイマガジン
技術ブログ
・カメラの利用ガイドブック
・SCORER
・Lider
技術はタイミング
・セキュリティ:最悪VPNにすれば
どこまで求めている?
→流出させない
・Raspberry Piの耐久性(とくにSDカード)
耐久性:1年半稼働しっぱなし、3日で壊れることも
MLC(TLCはある:書き込みミスのほうが重要)
壊れたら?行くことも→交換機を置いておいてしまう。
・ボール認識
円をとってくる。色で識別して円を抜く、
物理的な動きをするので、トラッキングする
動態検知
・Raspberry Piの始め方
やりたいことを見つける
ハッカソン
追加
資料
https://www.slideshare.net/FutureStandard/ceo-103infotalk-iot-jul-21st-2017