ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

モザイクを取り除く機械学習技術をNECは持っているが、それをAVに使わない理由を考えた

2015-06-30 19:26:28 | AI・BigData
NECは、モザイクを取り除く機械学習技術を持っている。

NEC、監視カメラなどの画像を鮮明に拡大し
広域映像監視を実現する超解像技術を開発
http://www.nec.co.jp/press/ja/1112/1401.html

これを使うと、こんな感じにモザイクが消せる


http://www.nec.co.jp/press/ja/1112/images/1401-01-01.pdf
より引用
おおおお~、すごい!
これを、AVにつかったら・・・薄いモザイクは全部見えてしまうんですね!!

ひとつ1万で売って、100万個ぐらいは、うれそうです。
1万円*100万個=100億円の売り上げ!になるのに、
NECから、そんなソフトは出そうにもありません・・・なぜでしょう・・・




それは、機械「学習」だからです。
モザイクを消すためには、

くっきりはっきり写った写真を何個も用意して、
その画像にモザイクをかけ、

  モザイク画像→くっきりはっきり画像

を多数、機械学習します。

その後、モザイクを外したい実際のモザイク画像を入力し、
くっきりはっきり画像を推測します。

・・・ということは、AV画像のモザイクを消すには、
くっきりはっきり写った画像を持っていないと、できないということです。
NECは、そういう画像をもっていないのでしょう。




ということは、ソフトオンデマンドでしょうか?
あそこなら、編集前のくっきりはっきり画像を
持っていそうです・・・

もし、SODが、機械学習によるモザイク消し装置を出したら・・・
SODの売上が143億円だそうなので、100億円売ったら、
主要事業に組み入れられそうだね・・・って、そういう問題かあ?

P.S
この場合、犯罪になるのかどうかが疑問。
というのは、必ずしも正しく再生できないから。
上の写真、川崎3のあとの数字、3か0かわからない。
このように、はっきりくっきり出ない場合もあるわけで・・・
ということを考慮すると、わいせつ物を絶対生成するとは言い切れないし・・・

P.S(2018/5/1)なんか、このエントリ、人気のようなので、
  イマドキの方法を新たに以下のエントリに書いておきました。

機械学習によるAVのモザイクの外し方(案)
https://blog.goo.ne.jp/xmldtp/e/e9b97cc1d7a48fed3012dc0cb6f6f21c







  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

さくらVPSでBitnami使ってRedmineを入れたときに、はまったこと

2015-06-30 16:26:43 | Weblog
さくらVPSを使ってRedMineをいれる・・・っていうのは、結構簡単なはず。
・・・なのに、ハマったことがあったので、メモメモ!




■まず、さくらVPSを申し込むのは、

http://vps.sakura.ad.jp/

の「お申し込み」ボタンをクリックして、「はじめて利用する」にすれば、
あとはフォームを埋めるだけでOK。
銀行振り込みを選べば、メールで振込先が指定されるので、
そこに、(メールに書いてある)指定金額を振り込めばOK。

  [さくらのVPS]登録完了のお知らせ

が表題のメールに、IPアドレスとパスワードがくる。




■次に、そのマシンを稼動させる。

これ以降の流れは、

さくらのVPS サーバの初期設定ガイド
https://help.sakura.ad.jp/app/answers/detail/a_id/2429

に載っている。はじめはマシンは稼動していないので、稼動させる。

  [さくらのVPS]登録完了のお知らせ

が表題のメールに、「VPSコントロールパネル ログイン情報」
のところに書いてあるURL、

https://secure.sakura.ad.jp/vps/

にログインする。ログイン名と、初期パスワードは、そのメールに書いてある。
その後の設定は、

サーバの起動・強制停止・再起動
https://help.sakura.ad.jp/app/answers/detail/a_id/2409

に書いてある。




■稼動したら、ログインして、パスワードなどを変える

teratermが入っていたので、teratermでアクセスした。
アクセス方法と、パスワードの変え方などは、

Sakura VPS マニュアル
http://www.xn--vps-073b3a72a.com/4.html

にある。ここでかるくはまったのは「接続が拒否されました」
というエラーメッセージがでたこと。この場合、ポート番号が
ちがうみたい。上記サイトにかかれているポート番号にして
接続するとできる




■RedMineを入れる

ここではまった!結論から言うと、

【2014年更新】BitnamiのRedmineをさくらVPSに速攻でインストールする方法
http://manablog.org/bitnami-redmine-sakuravps/

を忠実にやるとできる。

まず、bitnamiのRedmineを取得する為、

https://bitnami.com/stack/redmine/installer

にいくが、このとき、上記サイトにもかいてあるが、

64ビット用のものをダウンロードしてくること!

はじめ、Recommendedのほうをダウンロードしてしまい、ぜんぜんできず、ハマった。
(起動すると、なにもおこらずに終了する)

なお、ダウンロードURLは、Downloadボタンを右クリックし、「リンクアドレスをコピー」
でコピーしたあと、メモ帳などに貼り付けると、URLがでてくる。

wgetでとってきても、curl -L -Oでとってきても、どっちでもいいかもお?

ちなみに私は、

https://bitnami.com/redirect/to/61169/bitnami-redmine-3.0.3-0-linux-x64-installer.run

を入れました。これで、はいりました。めでたしめでたし!

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

複数の顧客がクラウドにマイナンバーテーブルを持った場合、税理士・社労士さんは・・・

2015-06-30 12:12:27 | Weblog
さっきのマイナンバー話のつづき。

土曜日の飲み会で、
「ねえねえ、コンピューターにくわしいんでしょう?
 じゃあ、このくらい分かるよね!教えてよ・・・」

といわれた話なんだけど・・・

■お題

どうも、こういう構成らしい(飲みながらなので、話をまとめ、かつ具体的な
ケースで書いている。ここまではっきり言ったわけではない。なにしろ、飲み会なので・・)


 複数社のお客様が、Amazon VPCを専用線接続(Direct Connect)して、そのVPC上のファイルないしはDB上に、マイナンバーテーブルを作成しようとしている(ここでは3社と仮にする)。
 うち、2社は、どちらも、IPアドレスが192.168.1.0/24のネットワークアドレスを使い(ただしネットワーク構成やファイル構成は別の会社なので当然異なり、IPアドレスは2社でバッティングすることもある)、他の1社は、192.168.16.0/24を使っている。
 この3社は、同じアプリケーションを用いていて(後述する税理士さんも同じアプリケーションを用いている)、DBやファイルだけ、Amazon VPC上におき、アプリケーションは、各社の作業者の個々のパソコン上に入っている(ライセンスの問題で、クラウド上におけないものとする)。
 税理士さんは、この3社のファイル、ないしはDBにアクセスして、仕事をしたい。ただし、3社とも、パブリックのインターネットに接続する気はない(禁止する)。このとき、税理士さんは、どのようなシステム構成にすればよいか?


こんなかんじ




■私の答え

こんなかんじになるのかな?よくわからんが・・・
もっといいシステムあるかなあ・・

つまり

 税理士事務所もVPCを利用し、IPアドレスに、他で使っていないネットワーク番号を割り当てる(ここでは、事務所192.168.231.0/24とVPC 192.168.233.0/24)。
そして、税理士のVPCと、各社のVPCをVPCピアリングで結ぶ(VPCピアリングは、接続先と同じCIDRを使えない。そこで他で使っていないネットワークアドレスを割り当てる)。
A社、B社、C社を切り替える為に、各社のイメージをS3上に保管するか、Dockerを使って各社環境をコンテナ化し、必要時に切り替える。


・・・って、税理士さんにわかるんだろうか・・・(^^;)

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

マイナンバーは原則別テーブル、他テーブルでは主キーにできず、JOIN注意

2015-06-30 09:38:22 | Weblog
「マイナンバーのテーブルでの持ち方がわからない。
 合法的にはどう持てば、削除しても大丈夫なのか?」

と聞かれたので、こんな風に答えました。




■マイナンバーは原則別テーブル、他テーブルでは主キーにできない

マイナンバーは、目的外には使えません。
ということは、従業員マスターの主キーなどにしてしまうと(一意で便利なんだけど・・・)
従業員マスターを税務・年金以外の他の目的(人事評価や飲み会の参加者名簿など)に使うことが出来ません。

ということは、マイナンバーは原則別テーブルで持ち、必要時にJOINすることになります。




■外部キーにする場合JOIN注意

ということは、実際にJOINする場合

従業員マスタ     従業員ID、従業員氏名・・・
マイナンバーマスター マイナンバー、従業員IDとなり、

SELECT 従業員マスタ.*,マイナンバーマスター.マイナンバー
FROM 従業員マスタ
LEFT JOIN マイナンバーマスター
    ON 従業員マスタ.従業員ID=マイナンバーマスター.マイナンバー

と(この場合)LEFT JOINにすることが基本だと思います。

というのも、マイナンバーは、退職した場合、削除しなければなりません。
従業員マスターは、過去データを扱う
(例えば、2010年度~2014年度の新入社員一覧を出すなどという場合)
こともあるので、データは削除していないかもしれません。

ここで、INNER JOINをしてしまうと、マイナンバーマスタに無い人が消えて
しまいます(例えば、2011年度入社、2013年退社の人は、そもそも
マイナンバーテーブルに登録されていないので、INNER JOINしてしまうと、
2011年度の新入社員から、この人は抜けてしまう)。

その場合、NULL値はどうするかは・・・時々で考えるということですね
(ケースバイケース)
・・・ということは、マイナンバーが必要な場合は、そのSQLは、一応考えないと
いけないということですね(というか、SQLを作成するときは、本やWebから
切り貼りするのではなく、一応、考えてくださいね。マイナンバーの場合に限らず!)




■扶養家族まで考えると・・・NoSQL?正規化くずし?別テーブル?

マイナンバーは、扶養家族まで必要になります。

http://www.nta.go.jp/mynumberinfo/pdf/gaiyo.pdfより引用
ということは、扶養家族のデータをもたないといけない・・・のですが、
扶養家族は何人いるかわかりません。

正規化する場合、マイナンバーテーブルとは別テーブルになります。

それがめんどくさければ、マイナンバーテーブルに、扶養家族リストというのをもって、
(扶養家族マイナンバー,扶養家族名)・・・繰り返し・・・
というデータ項目を持つか、いっそのこと、KVSなどのNoSQLにするか・・
(これらのばあい、途中の扶養家族を削除、修正する場合大変かも?)

ということになります。




じつは、このあと、「複数の顧客がクラウド(Amazon VPC)にマイナンバーテーブルを持った場合、税理士さんは・・・」ということで、とんでもない!話になったんだけど、その話は長くなるので、ここできる。

P.S
【参考】

マイナンバーにおける帳票変更のための参考サイト

●国税庁関係
社会保障・税番号制度<マイナンバー>
http://www.nta.go.jp/mynumberinfo/index.htm


●厚生労働省関係
事業主の皆さまへ
http://www.mhlw.go.jp/stf/seisakunitsuite/bunya/0000063273.html



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

ソフトウェエンジニアのための「機械学習理論」入門

2015-06-29 16:17:03 | AI・BigData
6月26日、NIIで

「ソフトウェアエンジニアのための「機械学習理論」入門」
http://topse.or.jp/2015/05/2344


を聞いてきた。その内容をメモメモ




資料はWebにアップロードしたお
http://www.slideshare.net/enakai/ss-46880120

(ハンズオン)
http://www.slideshare.net/enakai/machine-learning-theroy-handson-20150420


数式の意味
例題は、「パターン認識と機械学習」(黄色い本)
この本にチャレンジするファーストステップ

機械学習の本が出版されるはず-その本に書く

講義と平行して演習

■データサイエンス入門
・データサイエンスの全体像
 ビジネス判断を支えるもの
 ビジネスとして意味のある判断指標を見つける

 データ:ビジネス的な意味
 ドメインナレッジも持っていないと

・ビジネスにおけるデータサイエンスの役割
 ハリケーンが来たときに、どういう品揃えをしたらよいか?
  いけてない例
   水が売れました!
   DVD:アナ雪→将来を予測しないといけない
  いけていそう
   ビールがうれていました。在庫したら?
  →在庫にかかる費用と予測
 事実でなく、儲かる方法を聞いている

・いけてない機械学習の例
 チャーニング(ケータイキャリア乗り換え)
   決定木で分析
    お客さんの写真のデータを決定木にいれる:答えは出る

・機械学習アルゴリズムの分類(代表例)
目的:どう使いたいのかで分類
・クラシフィケーション
  分類ルールを作っておく
  確率で決めることもできる
・回帰
  数値を予測する
   何人の人が申し込むか?
   基本料金をいくらにしたら・・・
・クラスタリング
  教師なし学習
  (教師あり:答えがわかっている過去のデータを使う)

ツール
・R
・Enthought(えんそーと) Canopy(きゃのぴー)
  機械学習系がインストールできる
  scikit-learn:機械学習用ライブラリは有償
  pandas:データフレーム使える

演習準備
・Canopyのインストール
・GUIは使わないので閉じる
・ライセンスのメッセージは無視(フリー版なので)
・サンプルコマンドGet、Unzip、config

回帰分析
・最小二乗法
 トレーニングセットのデータ10個
 予測してください

・多項式を仮定する
 二乗誤差を求める→最小値を求める;偏微分が0
 W=係数、t=時点 ファイ=各点

 3次にしたらけっこういい
 9次にしたら全部点がとおる→オーバーフィッティング

 ERMS:誤差の平均

・一般化力
 未来のデータにどのくらい予測できるか
 オーバーフィッティング:見つける方法:テストセットを使う
 ERMSとテストセット→交差分割(クロスバリデーション)
 3次だとわかったら、そのあとは全データを使って検証する
 →誤差はでる。データの本質的な誤差があるから

 横軸を特徴変数という人たちもいる

■最尤推定
・確率的に予想
 +-σぐらいの広がりで
・トレーニングセットが得られる数(掛け算)→尤度関数
  →誤差関数がでてくる
・尤度関数を最大化するパラメータ
  →誤差関数がでてくる→それを分析する
・標準偏差→ERMS
・トレーニングセットの平均が真の平均(分散も)と推定する(あくまでも推定)

不偏分散
・小さく出る→ちっと大きくしたほうがいい値
 NでなくN-1とする

■線形判別法
・パーセプトロン(誤差最小)
 1とー1にラベル付けされているのを分ける
 誤差を小さくする

 確率的勾配こうかほう
 ベクトル解析。グラディエント:こうばいベクトルが出る

 n=1,2,・・・N
 間違って分類されていたら、パラメータを修正する
 Nまでいったら、また1に戻る

 バイアス項は任意にとれるが、収束速度が変わる
 C=1で書くと、収束が遅いはず
  →サンプルが早いのは、トレーニングセットが原点付近を通る用になっている
   三次元で考えると、定数Cを通る平面上に点をばらまける。
   この場合原点をとおる平面によって分割直線を表現できる
    →教科書に超平面で分割するとかかいてあるやつ

・ロジスティック回帰(確率最大)
 tが0と1とする→ベルヌーイ分布になる
 1の確率p、0の確率(1-p)
 これを1つにまとめるとベルヌーイ分布
 →尤度はIRLSで求められる

■学習モデルの評価(ROC曲線)
・何パーセントにしたらいいか
  TP Rate
  FP Rate
 ROC曲線を書いて判断する
  TP Rate,FP Rateの曲線
  うまく分類できると、左上にはりだす
  なまめ45度=ランダム判定
  下側にくる→悪意を持ってうそをついている
 数学的にはAUC(エリアアンダーカーブ)でやる

■クラスタリング
・K-means
 2乗ゆがみが小さいグループを答えとする
 代表点も属するグループもランダムに決める→選びなおす
 いつかは極小値になる
 何回もクラスタリングする

 応用例:画像減色処理

 文書の分類:同じ単語がどのくらい

・EM法
 手書き文字の分類
  代表文字とどれくらい似ているか
  各ピクセルが黒になるマスター
   手書き文字をランダムに生成
   同じものが得られる確率→尤度関数
  →ベルヌーイ分布になる
 K平均法に類似した手続きで得られる
  K番目のジェネレーターが使われる確率
  重心を取る

クラスタリング:主観が入る

CTC教育サービス

NECの「学習型超画像技術」→事前に鮮明なナンバープレートで学習

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

「概念モデリング再入門 ~いまさら人に聞けない人のための基礎講座~」を聞いてきた!

2015-06-29 12:17:23 | 開発ネタ
6月26日に、「要求開発アライアンス 6月定例会」に出て


概念モデリング再入門 ~いまさら人に聞けない人のための基礎講座~
講師:河野 正幸 氏 www.openthology.org
ハッシタグ #redajp
https://redajp.doorkeeper.jp/events/26623


を聞いてきた。その話をメモメモ




概念モデリングやってますか
・概念モデリングは非常に有効な活動
・ぜひ一度やってみてほしいーまず始めてみること
・来週からやってみようかなと思ったら成功

内容
1.スタートするうえでの最低限の基礎知識
2.要領よくモデルを書くために知っておくとよいこと

■1.最低限の基礎知識
UMLで書いた概念モデルの例
(クラス図)
 クラスでかく:概念名と属性名
 線:関連
 概念を表す腺
 多重度は重要
 ノートでいろいろ書いておく
基本このくらい。UMLにこだわらなくてよい

手順
1.テーマの選定
2.概念の識別
3.属性の定義

1.テーマの選定
・何をテーマに概念モデルを書くのかをまず決める
・テーマの広さによってモデルの目的や詳細度は変えたほうがいい
 全体概念モデル:全体像をざっくり
 個別詳細モデル:ビジネスユースケース

2.概念の識別
 リソース:経営資源に関する概念
   パーティー(活動する人たち)、もの、場所、ルールポリシー
 イベント:ビジネス上の事象
   通常イベント、異動イベント(管理したい状態の変化)
 データストア:把握しておくことが必要な情報
   口座型、B/S型、P/L型

3.属性の定義
・概念の特性をよく表す
・コードや区分:クラスとして表現
・すべての属性をこの時点で詳細に洗い出す必要はない
・主キーは洗い出しておく

4.関係の定義
・関係と多重度
  多重度:ビジネスルール
・種類を明示したい:汎化
・基本的にはアソシエーションと汎化
・集約、複合までは・・・

■2.要領よくモデルを描くために
NG行動
・理論武装してから始めようとする
・正解かどうかにこだわりすぎる
・途中で投げ出す
  まず2つの知識
    商品(製品、サービス)
    パーティ(自社組織、取引先)
・最初からきれいな最終形を描こうとする
  3段階くらい描いてみる
    1.全体を理解する概念モデル
    2.抽象化せずになるべく詳細に表現したモデル
    3.抽象化して整理したモデル(最終形)

■概念モデルを要領よく描くコツ
まずイベントを見つけ5W3Hを考えてザクッとモデルを描く
  :整理せずにくっつける→1段階目
 業務をよく分析してモデルを洗練する→2段階目
 似たようなものをまとめる→3段階目

双方向で関連を精査して適切な概念構造を導き出す
 多対多になったら注意:間に何かない?
 イベントの明細?→マスタとして別概念!

2つの概念間に別の種類の複数の関連がないか?
  別の見方、管理の仕方をしたいこともある

概念同士の関連において、ロールを意識してうまく表現する。ただしシンプルに!
  ロールを複雑に考えるとハマる。なるべくシンプルに

モノに関連している概念を考える場合、
  それがモノの種類を扱っているのか、
  現品を扱っているのか
 を精査することで正しい理解が得られる
  例;新車の注文→車種が重要(今、車なくてもOK)
    中古車の注文→車両:その車を注文している

ルール、手順、ポリシー「知識レベル」
  オペレーション管理「操作レベル」をわける
 「知識レベル」、「操作レベル」ファウラーがアナリシスパターンで
  (知識レベル:クラス間?操作レベル:オブジェクト?)

口座型データストアは
  うけ払いの記録を概念として取り出す
  その増減をもたらした業務イベントとの関連
 で表現するとすっきり!
 例:商品在庫
   受払記録:在庫
   イベント:入荷、出荷
 →マーチンファウラー:勘定パターン

■最後に
・つべこべ言わずにかけ
  数をこなせばうまくなる
・みせる
・業務とDB設計用は分けて(目的は切り分けて)

・ビジネスユースケースで表現するテーマが範囲
 ないし、既存モデルがある場合がそこ
・最終形の基準→ER図が描ける

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

ゲームにはまってしまった子供を簡単に飽きさせる新方法

2015-06-29 10:09:37 | Weblog

【眼から鱗】ゲームにはまってしまった子供を簡単に飽きさせる新方法が見つかった
http://netgeek.biz/archives/41090

ノルマを課し、クリアできなかったら叱責だそうな。
ちなみに、これを考えた人は会社でも優秀な人で、課長に昇進したそうな
この記事を書いている人は、これを考えた人に「ついていく」と言っているが・・・

仕事でも、「ノルマを課し、クリアできなかったら叱責」?

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

ストレスチェックの義務化-27年12月から

2015-06-28 11:41:09 | Weblog
自分へのメモなんだけど、

「これが、コンピューターと、どう関係があるんだよ!」という人へ

個人情報保護の観点で関係します。
ストレスチェックの調査票の回収と集計は、「実施の事務」にあたり、
人事課その他の職員ができる(直接人事権を持つ人は出来ない)。
→この記入された調査票は、個人情報で、会社が持っているケースがある
この個人情報は、本人の同意が無い場合、保護しないといけない。
→セキュリティですな・・・

2015年12月からストレスチェックの実施が義務になります。
http://www.mhlw.go.jp/bunya/roudoukijun/anzeneisei12/kouhousanpo/


改正労働安全衛生法のポイント(ストレスチェック制度関連)
http://kokoro.mhlw.go.jp/etc/kaiseianeihou.html



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

佳子さまの、こんなプライベート情報を流して、よいのだろうか?

2015-06-27 00:52:36 | Weblog
ここのニュース

佳子さま「学業優先」を崩せずダンスサークルへは入会せず
http://www.news-postseven.com/archives/20150626_331951.html

なんだけど、(以下太字は上記サイトより引用)

学業においてもクラス分けテストで下から2番目のクラスになってしまわれた

なんて、プライベート情報をながして、大丈夫なんだろうか・・・


P.S 

学生寮の風呂場にて水着でキャンドルナイトなどを楽しむ『混浴パーティー』など、学校のイベントにも参加できなくなってしまったという。

って、もしそれに参加して、その写真が流出したら、国家的問題だよな・・・

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

「リアルタイム画像解析とディープラーニング活用事業から見るDockerの最新利用事例」って言ったら・・・

2015-06-26 17:28:45 | ネットワーク
見に行きますよねえ・・・絶対!

っていうので、

【本日開催】【ヒカ☆ラボ】【総応募45名突破!】【大注目のDockerが熱いワケ、語ります!】リアルタイム映像解析とディープラーニング活用事業から見る最新事例をabejaのエンジニアがご紹介!
http://at-agent.jp/service/event/163/


に釣られていった話。




■会社紹介などなど

ヒカラボについて
・ヒカリエ・ラボラトリー
・レバレジーズが運営するイベントの総称

レバレジーズとは
・フリーランスの人にお仕事紹介
・正社員のかたに会社紹介
・teratail
・レバテック事業部
 レバテックキャリア、フリーランス、クリエーター
・懇親会でQuoカード
・お友達紹介キャンペーン

■リアルタイム画像解析とディープラーニング活用事業から見るDockerの最新利用事例
・自己紹介
・よくさわっているモノ
・アジェンダ
  映像解析システムの紹介
  Dockerを導入してよかった

DeepLearning、映像解析の→インストアマーケティングに応用
 データを取るサービス
  ABEJA Demohraphic:ディープラーニング使う
  ABEJA ビヘイビア:
  ABEJA DMP:ダッシュボード
   →どこに人がいるか

映像解析システムの概要
・お客様のカメラ→クラウド
・クラウドから解析→DMP
・DMPをブラウザでお客さん見る

Docker導入前
・1台のカメラに対し
 ストリーミング→解析エンジン→OutPutデータ→DB
 解析エンジン:映像+DeepLearning
  =結構CPUパワー食う
・2台目のカメラ→DB共有。他は別に立てる
・監視サーバーとデプロイサーバーを使う
・アーキテクチャの特徴
 システムが特殊
 解析エンジンの管理が複雑

映像解析エンジン:
 ・ストリーミング処理 Python
 ・解析コアプログラミング C++/Python
 ・出力データ保存 Python

開発プロセス
・開発
  ストリーミング制御
  出力データ保存
  開発環境構築
 →OpenStack

・ステージング
  サーバー構築
  解析エンジン作成
  監視項目洗い出し
 →さくらのくらうど

・リリース
 →さくらのくらうど

・開発プロセスの特徴
 R&DとOPSで分業

インフラ構築
解析コアプログラムの依存関係
  C++
  画像解析
  機械学習
   :

サービスごとに使いたいものが違う
 構築プロセスは変わるもの

同じ環境を構築?
 Ansible

インフラの特徴
・依存関係多い
・サーバーの再構築が多い

Docker導入以前の課題
 ・解析エンジンの管理方法が難しい
 ・R&DとOpsでの提携部分が多い
 ・解析エンジンが動く環境が変わる

Docker
・解析エンジンをDockerにした
  ライブラリもいれる
よかったこと
・解析エンジンの管理
   デプロイ docker run,docker pull→クラウドレポジトリから
 プロセス
   ユーザー空間
 Dockerがコンテナ起動までやってくれるところ
・R&DとOpsの役割分担
 お互いに深いところまで知らないと・・
 Dockerイメージの継承
   1つベースイメージつくり、→OPS
     解析コアA,解析コアB→R&D
 開発効率向上
  動くベースがいつもでもある
・ポータビリティ
  同じ環境作るの難しい
  Docker save,load
  Docker Image→tarファイルで持ち運び可能
  Docker レジストリ使えば
・よかったこと
 もちはこびかんたん

【質疑応答】
Zabbix→せんすつかってる

■このあとの懇親会には出なかった




あ~、ごめん、レバレジーズのフリーランスの人のお仕事紹介とか
正社員の転職紹介とか、そういうための会(つまり、懇親会がメイン)
であって、Dockerとか、ディープラーニングとかは、そういう意識の
ある人をあつめるためのお話だったのですね(^^;)

・・・ということを知らないで行ってしまったので、場違いでした。
でも、お話はためになったけど・・

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

「Google Cloud PlatformグローバルイベントNext東京」の基調講演

2015-06-26 12:31:01 | ネットワーク

を、以下、メモメモ。





基調講演

■塩入さん
 きょうの内容の流れ

■あみっと しんぐ社長から
・急激な成長
・SnapchatとLine 拡大するビジネススケール
・ムーアの法則
・2つのトレンド、スマホとパブリッククラウド(コンピューティングインフラ)
・自動車運転
 バーチャルリアリティ
 ウェアラブル技術
 モノのインターネット
 人工知能と機械学習
・ビジネスにとって何を意味するのか
・レガシーシステムはLiability
・コラボレーションにとっても、競争にとっても世界に
・デベロッパーにとって
・Googleの使命「世界中のあらゆる人々の問題の解決にむけて・・」
・Google for Work
・構築する Cloud
・Build What's Next 次世代のクラウドを作る

■とむかーしょうさんから、マーケットについて
・パートナーに感謝
・開発者にとって絶好のとき
・従来型:物理がた、今:情報
 うーばー、フェイスブック Air ありばば
・企業がS&P500に組み入れられるまでの平均創業 75年
・すべてが簡単に手に入る それはすばらしいこと
・メディアは5000億ドル産業
・YouTubeとNetFlixが世界50%大域
・2014年、米国でのクレジット・デビットカード消費額4ちょうどる
・米国の食料ひんてんの売上は年間1.1ちょうドルごえ
・シェアリングエコノミーの台頭
・2020年までに接続デバイスは350億台超に
・中心にあるのはクラウドとモバイル
・News Limited オーストラリア最大のメディア会社
 3週間で構築導入、BigQueryを1日で設定
・何でも出来るときがきたとすれば、次に何をすべきか?
・その鍵を握るのはクラウド Googleによる支援
・Googleは自らの為によりよいクラウドを構築 今それをお客様へ
・クラウドがさらに可能にすること
 できるだけはやい競争と構築
 複雑なデータ分析を整理して容易に
 ビジネスに適切な方法での作業と成長
・Google Cloud Platform
・さらに環境にやさしいカイゼンされたクラウド
・Googleは全体の35%で再生可能エネルギーを使用
・真のクラウドエコノミクス
  インフラストラクチャの革新
  自動ディスカウント
  分単位の課金
  ムーアの法則に基づく価格設定
・Google Compute Engineの値下げ
・Google Cloud Platformを活用することで、クラウドは思ったとおりに機能します
・Google Cloudの平均的な価格設定


・ビデオ

・Google Cloud Platformを活用することで、クラウドは思ったとおりに機能します
・Google Cloudの平均的な価格設定
・IaaSを購入することに何の意味があるのか?

■じょんそんさん HTCエンジニアリング担当
・HTC
 課題
 1.複数デバイスの同期
 2.モバイル大域幅の削減
 3.データセンターのシームレスなレプリケーション
 4.ネットワークの接続障害に対する体制

 ソリューション
 ・Gitのようなバージョンベースのappend専用データストア
 更新→リストの変更/差分→バージョン→プッシュ通知→クライアント同期

・HTC メトリクス
 GCPについて
 ・データストア、インスタンスグループ、オートスケール、GCM、ずーきーぱー、Redis
 ・GCP、スケーリング、レプリケーション、通知
 ・専門的な製品:BigTable→大幅なコスト削減(例)
 ・すばらしい技術サポート
 成果
 6ヶ月
 4アプリケーション
 1週間:リリースサイクル

■とむかーしょうさんにもどる

■PWC くりすさん
・2つのめがとれんど
  PWC:大企業 ソーシャル分析
  テクノロジモデルの変化:消費型モデル
・なぜGoogle
 分析:セキュアなかたちで
・まいぐれーしょん
 ビジネスの再定義、ITの再定義

■とむかーしょうさんにもどる

■ぐれっぐでみちりさん
・Googleでもっとも急速に成長している製品の一つ
・Googleクラウドプラットフォーム
 20以上のサービス
・コンピュートサービス 
 ストレージ
 アナリティクス
・70のエッジロケーション、33カ国
・Googleグレードのセキュリティ
  スタッフ
  物理的
  フルスタック
・オペレーション管理
  データ暗号化
  ID
  監査適合性
  サービスレベル
  インサイト
  統合
・コンピューティング
  PaaS:コンテナ
・より柔軟性の高いAppEngine
  インフラストストラクチャでなくコード
  好きな言語で開発
  ワンクリックでデプロイメント
・進化したCompute Engine
  完全な柔軟性
  Googleでもっとも急速に成長しているコンピューティングプラットフォーム
  GCEのPreemptible VM通常のVMのコストの30%

■ブロードリーフ 大山さん
・企業紹介
・自動車アフターマーケット
・製品事例
 カーウンセラーPASS 
 GCP GN Magellan上で稼動
・GCPの活用ポイント
 商社1200社、整備工場13000社→大量トランザクション
 サポートが優れている
・活用の未来

■えいみんぐ こばやしさん
・会社紹介 スマホオンラインゲーム世界一を目指す
 ミッドコア層にターゲティング
 海外展開
 MMO/Smartphone
・GCPを使う理由
 コスト圧縮
 国ごとにクラウド→煩雑
 クラウド側都合によるシステム停止なくなった
 バックエンド解析お金かかりすぎ→BigQueryに移行、速い
 システムアーキテクチャ変わった(中間テーブル不要)
・GCPの使いどころ
 海外向け2タイトルの本番サーバー
 タイトル横断的なデータ解析
 課金集計などの共通基盤
 会計の共通基盤
 Bot等細かい社内ツール

■ぐれっぐでみちりさん
・拡大したコンテナエンジン
 革命に力を与えるコンテナ
 開発者向け
  容易な開発テスト環境
  容易なマイクロサービスの構築
 オペレーションIT簿門向け
  ファイルコピーによるデプロイメント
  超ポータブル
  効率性の改善が可能

・Googleでは週に20億個以上のコンテナを展開
 (く-ばねいてぃすのはなし)
 次に誕生するのは

■アバイヤ Davideさん
・雪で出られないときの話
 →Chrome Bookで仕事できた
・Avayaで採用したわけ
 サービス
  Google Analytics採用
 セキュリティ・プライバシー
  セキュリティポリシーの管理に向け多層制御を活用
 拡張性・信頼性
  冗長なミラー化データを支える世界規模での実行
 柔軟な価格設定モデル

■ぐれっぐでみちりさん
・柔軟性と信頼性の有るストレージ
 経済的で高性能
 BLOBブロック、キーバリュー型、SQL、NoSQL
 パートナーの強力なエコシステム
・Nearline
 すべてのアーカイブストレージを簡単に
・Glacierの真の競合がはじめて登場しました
・アーカイブされ必要なときにアクセスできる、
・急増するデータ:賢い企業はこれを活用している
・通常のビッグデータ処理
・Googleでのビッグデータ:インフラストラクチャではなくインサイトに焦点
・Google BigQuery:複雑なデータ分析をシンプルに
  100000行/秒のストリーム
  サードパーティソフトと容易な統合
・Google Cloud Dataflow
  バッチとストリームの両方で処理を実行
  データ処理パイプライン
  監視インターフェース
  大幅に低いコスト

■グルーブノーツ 最首さん
・GAME & IoT
  まっしぶとらんざくしょん
  ノンストップ
  スケーラビリティ
・MAGELLAN
  自動車、医療、流通
  高速処理 BigQuery
・なぜGCP
  技術的進歩
  開発との距離感
  透明性と謙虚さ
  最先端と無邪気さ

■ぐれっぐでみちりさん
・Googleが常の取り組んできたオープンイノベーション

■さいごに塩入さん
・サマリー
 世界規模
 オープンイノベーション
 真のクラウドエコノミクス
 シンプル
・日本の事業展開
 3年前
 40名→200名→はいりきらない
 情報の発信:日本語化 95%(技術ドキュメントはまだあるけど)
 JapanGCP Partners Expanding

 

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

astah7.0リリース-7.0からCommunity版は、商用利用できないらしい

2015-06-26 08:50:51 | Weblog

astah community
7.0 新機能紹介
http://astah.change-vision.com/ja/product/release/com/7-0.html


お客さんに出すドキュメントに使う場合は、買ってねということだよね。

大学で論文に出す場合は、いいんだよね・・・たぶん


  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

日本の博士論文を一元的、網羅的に検索できる新サービス「CiNii Dissertations」

2015-06-25 16:45:46 | Weblog

国内唯一 日本の博士論文を一元的、網羅的に検索できる新サービス「CiNii Dissertations」の試験運用を開始
http://www.nii.ac.jp/news/2015/0624/

ですって!見てみましょう。

http://ci.nii.ac.jp/d/




ビッグデータで検索してみた


一番上のをえらんでみる


なかんじ・・・

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

IT系賃金、沖縄は東京の約半分-地域経済分析システム(国の無料の観光、自治体比較等分析サイト)

2015-06-25 12:32:52 | AI・BigData
国がやっている、無料の人口、観光、自治体比較等の分析サイト

地域経済分析システム
https://resas.go.jp

っていうのがあるってことは、

2015年版中小企業白書の内容の特徴
http://blog.goo.ne.jp/xmldtp/e/a8b2dde336754f91b40ce43ae8661466

(3部の下のほう、<<中小企業白書のポイント>>の直前)
に書いた。それを使ってみる。




■まずはトップページ
https://resas.go.jp
にいくと、こんなかんじに「花火が見えるはず」

見えなければ、そのブラウザは使えない。IEではだめで、Chromeでうまくいった。
で、左側の三本線をクリック

というかんじでメニューが出てくる。メニューはサブメニュー1つごとにクリックを押して確定する

■人口、観光など・・・
こんな感じで見ていく






■で、問題のIT系の1人あたり賃金
自治体比較マップ→「労働環境」の一人あたり賃金

を選択。表示されたら、右側の「表示する産業」を「情報通信業」「情報サービス業」にセットする(赤丸のところ)

地図上にカーソルを持っていくと、その都道府県の値を表示する。
東京は602万。

画面をマウスでドラッグすると、位置を動かせる(スクロールする)
沖縄に移動

332万。

東京の約半分だね!



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

「IoTでプロポーズを考えている方」が対象の勉強会、申し込み者絶賛募集中らしい

2015-06-25 10:13:04 | AI・BigData

第7回勉強会 Webはいつもあなたを見守っている 〜 IoT/WoT特集 〜
https://webplat.doorkeeper.jp/events/27429

に書かれていた一言・・・(以下太字は上記サイトより引用)


対象

(中略)


IoTでプロポーズを考えている方
何か面白いことしたいなと思ってる方
夏に向けビリーズブートキャンプでダイエットを試みている方


IoTでプロポーズ?

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする