node.jsでiconvを使って、ISO-2022-JPのファイルを読み込み、UTF-8に変換する

で、前の話のつづき。
やりたかったことは、

node.jsでISO-2022-JPのファイルを読み込み、中身をUTF-8に変換

でした。で、そのために書いたプログラウが、こちら。

var Iconv = require('iconv').Iconv;
var iconv = new Iconv('ISO-2022-JP', 'UTF-8');

var fs = require('fs');

//File read
fs.readFile('testiso.txt', function(err, content){
      if(err){
        console.error(err);
      }
  
      // from ISO-2022-JP to UTF-8  
      var buf = new Buffer(content, 'binary');
      moji = iconv.convert(buf).toString();

      //stdio output 
      process.stdout.write(moji);
});

testiso.txtの中にISO-2022-JPのコード化されたテキスト（漢字）がはいってる。

node.jsで、iconvを使うのに・・・

ISD-2022-jpに変換したいので、node.jsにiconvを入れることになった。

日本語変換なら、iconv-liteがあり、インストールはnpm install iconv-liteで
くので、楽なんだけど、SJIS,UTF-8とかはOKでもISD-2022-jpはだめっぽいので、
iconv。

Windows１０で、コンソールから

npm install iconv

ってやると、pythonが入っていないとかいうエラー。
環境変数にPYTHONにPython2.7exeを指定したら。。。

visual studio入れろ！みたいなエラーになり・・・
いやいやそれは・・・と思ったら

https://ginpen.com/2017/09/06/vcbuild-exe/


によると

npm install --global windows-build-tools

しろと書いてあったので、やったら・・・


な、なんですと・・・


P.S　寝て、起きたらできていた。どんだけ時間かかるんだ・・・

P.P.S　実際に書いたプログラムは、↓

node.jsでiconvを使って、ISO-2022-JPのファイルを読み込み、UTF-8に変換する
https://blog.goo.ne.jp/xmldtp/e/e8478d31c0292813dc7bf0c124077173

女児型セックスロボットは社会の敵

という記事

女児型セックスロボットは社会の敵
https://www.newsweekjapan.jp/stories/world/2018/06/post-10389.php

に対して

女児型セックスロボットは社会の敵 | ワールド | 最新記事 | ニューズウィーク日本版 オフィシャルサイト
http://b.hatena.ne.jp/entry/s/www.newsweekjapan.jp/stories/world/2018/06/post-10389.php

ブロックチェーン革命と未来組織を聞いてきたはず・・・

なのでメモするけど、
途中、寝てたので、内容抜けてる

---

・ウクライナ
　ビットコインとQRコードをもってデモ→政治活動にも影響
　低コスト、瞬時にお金を集める
　大組織体への通勤が減る？
→小規模自立組織

・自己紹介

・今：グローバル企業に支配されている
　次世代：こんどこそ、分散化？（ブロックチェーン）
　ブロックチェーン革命

・１．はじめに
　ブロックチェーン：インターネットに匹敵するくらいの革命
　分散自立企業（DAC)へ変化する
　市場規模６７兆円（AIより大きい）
　DLT（分散型台帳技術）

・ブロックチェーン：電子的な情報を記録する仕組み
　→価値を送ることができる
　インパクトの方向性２つ
　　　大企業がプライベート、コンソーシアムブロックチェーン
　　　個人あるいは地域の力。DAC

・組織体の在り方がかわる
　　雇用者から事業者へ
　　個人の専門性を証明するしくみ
　　匠の技を安いコストで提供

・Eコマース　決済方法でロックインされやすい
　　→信頼を獲得しやすい大組織体一極集中へ

・規模の経済性を切り崩す

・意思決定、システムに問題があった時など、いくつか問題点


２．概要
。インターネット：情報の革命
　ブロックチェーン：取引の革命
　Trustless Trust System
　　組織体を信頼しなくても信頼できるシステム

　情報を送るインターネットから
　価値を送るブロックチェーンへ

・DLT：分散型台帳儀重
　　フィンテックは従来型のIT技術→混同に注意

・２００９年１月に誕生、それ以来ずっと取引記録している台帳

・ブロックチェーンはだれでも使える
　みんなに見はられている

・パンゲアの扉つながる世界
　ワインのトレーサビリティ
　小関のない人にID　ビットネーション

・だれが持っているかはわからない

・キプロス：税率上がる

・ビットコイン発行の３段階
１．署名を用いビットコイン送付

評価様々、管理主体ない

・マウントごっくすの破綻　→一つの両替所の問題→ビットコインの破綻ではない

発展途上国：新興国１割くらいのコスト

・３つのタイプ
　　パブリック
　　コンソーシアム
　　プライベート

・ビザンチン将軍問題　　
　　裏切者がいる→裏切りできなくなる仕組み

　BTF（ビザンチンふぉるとれらんとせい）

・影響構造分析

ブロックチェーンによって地域産業商店の人気上がる

・事例

　日本の資本主義：公的企業にもとめられるか？

　規模の経済性

　固定費の源泉
　　　設備投資
　　　研究費・開発費
　　　広告宣伝費

　エストニアのE-residents

　港湾

　直接投票

　ブロックチェーンは独裁的な国で先行する？

　地域通貨

　シェアリングビジネス

・信頼：大きな変化
　　BlaBlaCar
　信頼前提：ブロックチェーン成り立たない


・AIとブロックチェーン
　　　　　　　　　　　　経営管理者がいる　　　　　経営管理者がいない
↑　　　
A　労働者がいない　　　　ろぼっろを使う　　　　　　AIによる完全自動化
I
　労働者がいる　　　　　　伝統的な株式会社　　　　　DAO

　　　　　→ブロックチェーン

人工知能の発展
　　特化型AI

　　ネットワーク

　　汎用型

・まとめ
　ブロックチェーンは未来のビジネスチャンスの宝庫

　

TeXでプレゼン

その名はBeamer

https://texwiki.texjp.org/?Beamer

Excelカスタム関数としてJavaScriptのサポート

Microsoftは先日、JavaScriptでExcelのカスタム関数の作成をサポートする開発者プレビューを発表した。これは、Officeホストアプリケーションのオブジェクトモデルと対話するアドインやWebアプリケーションに限定される既存のMicrosoft Office JavaScript APIを超えて実現できる。

だって。

【引用元】
Microsoft、Excelカスタム関数としてJavaScriptのサポートを発表
https://www.infoq.com/jp/news/2018/06/microsoft-excel-js-functions

情報デザインを意識したスライド作成入門

入門したいのでURLをメモ（まだ入門していない）

http://home.riise.hiroshima-u.ac.jp/~ten/slide20180125web.pdf

AlexNetのファインチューニング

大変だったので、メモ

---

■前提
・anacondaが入っているとする
・TensorFlowは1.5.0が入っているとする

---

■ダウンロード

Finetune AlexNet with Tensorflow
https://github.com/kratzert/finetune_alexnet_with_tensorflow

のClone or Downloadをクリックしてｍダウンロード

---

■サンプル実行

解凍して出てきたファイル

validate_alexnet_on_imagenet.ipynb

を、Jupyter notebookで開き、実行する

---

■花を分類する。

〇サンプルデータ（お花のデータ）は、

17 Category Flower
http://www.robots.ox.ac.uk/~vgg/data/flowers/17/

の「Dataset images」

〇学習済みパラメータ（ファインチューニングは、もともと学習済みがある程度あり、
　それの精度を上げる方法）は、上記のサイトの

All you need are the pretrained weights, which you can find here or convert yourself from the caffe library using caffe-to-tensorflow.

のhereにある。以下のところ

http://www.cs.toronto.edu/~guerzhoy/tf_alexnet/

のDataset images から落としてくる

〇ほかにトレーニングデータと、推論するもののデータが必要

ファイル名　分類番号

の順に書く。こんなかんじ（jpgファイルは、上記のサンプルデータ）

./flowers/image_0001.jpg 0
./flowers/image_0002.jpg 0
./flowers/image_0003.jpg 0
./flowers/image_0004.jpg 0

（中略）

./flowers/image_1340.jpg 16
./flowers/image_1341.jpg 16
./flowers/image_1342.jpg 16
./flowers/image_1343.jpg 16
./flowers/image_1344.jpg 16

以下、トレーニングデータをtrain.txt、
推論する対象データをval.txtに入れたものとして
話を進める

---

filewriter_path = "./tensorboard"
checkpoint_path = "./checkpoints"

■修正箇所

これでfinetune.pyをpythonで実行すればいいが、その前に、
finetune.pyに以下の修正を行う（太字が修正箇所）

train_file = './train.txt'
val_file = './val.txt'

finetune.pyに、上記train.txt,val.txtを置いた場合

learning_rate = 0.0002

これくらいにしないと、後でエラーになる

num_classes = 17

上記イメージは１７種ある

filewriter_path = "./tensorboard"
checkpoint_path = "./checkpoints"

チェックポイントをローカルに置く場合

---

■実行

anacondaで、プロンプトを出して

python finetune.py

を実行する。

---

■トラブルシューティング

〇ファイルが読めない
　パスのどこかに日本語がある（ファイル名、パス名に日本語をつかっている）
　パスは英語になるようにする

〇from datagenerator import ImageDataGeneratorでエラー
こんなかんじ

Tensorflowのバージョンが高すぎる。1.5.0とかに落とす

pip install tensorflow==1.5.0

〇２エポック目でNaNがどうとかこうとかのエラー
　学習率が大きすぎる。上述のように
learning_rate = 0.0002
にする。



【参考】
Finetuning AlexNet with TensorFlow
https://kratzert.github.io/2017/02/24/finetuning-alexnet-with-tensorflow.html

みずほ、どうなるんでしょうね？

結果は月曜日・・・（＾＾；）

あの２ちゃんのスレは、こんなふうになっていた・・・

【アメ】みずほ銀行次期システム開発を見守るスレ58【フト】
http://matsuri.5ch.net/test/read.cgi/infosys/1526637101

こんなのも・・・

みずほ銀行の基幹システム、９日夜に移行開始。多くのシステムエンジニアが眠れない夜を迎えることに…
http://hayabusa9.5ch.net/test/read.cgi/news/1528498367/

GPU クラウド（nvidiaの）

ディープラーニングのパワーをあなたのデータに導入する

んだそうな・・・

GPU クラウドコンピューティング
https://www.nvidia.com/ja-jp/data-center/gpu-cloud-computing/

Pythonで、word2Vecするには

とりあえず、いまのところまで、メモ

１．AnacondaでPythonインストール
２．形態素解析 janomeのインストール
３．word2vecしてくれるgensimのインストール
４．Jupyter Notebookを立ち上げて、
５．上記をインポート

import codecs
from janome.tokenizer import Tokenizer
from gensim.models import word2vec

後の続きは、気が向いたとき、書く


参考
gensim　Tutorials
https://radimrehurek.com/gensim/tutorial.html

MicrosoftがGitHub買収？

の話をあとでゆっくり読みたいので、とりあえずURLをメモ

MicrosoftがGitHub買収？ オープンソースのコミュニティは今後どうなっていくのか
https://www.gizmodo.jp/2018/06/microsoft-github.html

機械学習はなぜフレーム理論を回避できるのか、東京ドームと傘で説明してみる。

第二世代までの人工知能の場合や、コンピューターのソフトウェアの場合、
記述していないプログラム、ルールは実行できない。

例えば、雨が降ったら傘をさすということはプログラミングできる。
だから、それはできるけど、
そのかわり、雨が降らない東京ドームでは、決して傘をさすことはない。


しかし、これが、巨人対ヤクルト戦だったら、どうなるだろう。
東京ドームでも、ヤクルトファンは傘を指すのではないだろうか？
こんなかんじ・・・

https://www.youtube.com/watch?v=MPhyPZincXE
（音量注意：おとなります）

・・すみません、ヤクルトファンでないので、これ、東京ドームでもやるのかは、
よくわかってませんけど・・・たぶん、やるんですよね（＾＾；）


でも、上記に書いた通り、第二世代までの人工知能の場合や、コンピューターのソフトウェアの場合、
プログラミングしていない、ルール化していないことはやらない。
ヤクルトファンがみんな傘をさして応援していても、第二世代までのコンピューターは傘をさすことはない。

このように、書いてないことはやらない・・・とすると、ある行動を起こすために、
あらゆるケースを想定して、すべてルール化しないといけないが、すべてのルールを記述することは
できないし、もしかけたとしても、その中から適切な行動を選択・実行するには、膨大な時間がかかるので
実質、適切な行動を、適切な時間内で行わせることはできない。

これが、フレーム理論

---

しかし、機械学習の場合、

・いま、目的変数は、傘をさすかどうか
・説明変数は、センサーで得られる情報しか利用できない。
　今回の場合、センサーは、触覚（雨を検知できる）、音、画像・・・と限られたものとなる。
・ルールは自分で学習するので、
　　　触覚センサーで雨を確認したら、傘をさすことは、学習できそう・・・
　　　東京音頭の音声を聞いたら、傘をさすということも、学習できるんじゃないか・・・
　　　それも、神宮球場でその状況を聞いて・・・

・仮に学習できるとすると、一度も東京ドームに行ったことがなくても、
　「東京音頭を聞いたら、傘をさすこと」とかプログラムを書かなくても、
　「神宮球場での学習結果」を利用して、東京ドームで、東京音頭がなると、傘をさす・・・はずである。

　つまり、プログラムを書いていなくても、なぜ、ヤクルトの人は傘をさすかを知らなくても
　適切な行動を行える。

---

　これは、機械学習は、目的変数が明確で、
　・行動を起こすのに必要となる説明変数は、センサーからのデータと限られた範囲であり、
　・行動を起こすために必要な学習は、目的変数と説明変数間の相関だけで行う
　　　　というすべで有限。それもかなり狭い限定された環境の中に問題を閉じ込め、
　・ルール取得を（学習により）自動化できた
　ので、行動できている　（人間もそうだけどね）

---

　ただし、相関をもとに行動しているのであり、
　理屈を知って動いているわけではないので、まちがいはある。

　盆踊りで東京音頭が鳴り響いたら、傘をさす可能性はある・・・

アマチュア無線家が山の中に建設した“別宅シャック”、見そびれた（＞＿＜！）

しまった・・・

【追記：登場は6月3日（日）18時30分の“後編”で】テレビ朝日系列「所＆林修のポツンと一軒家」でアマチュア無線家の“別宅シャック”が登場！
https://www.hamlife.jp/2018/05/25/potsunto-ikken-ya-shack/

自然エネルギーが自然にやさしいという嘘

「自然エネルギーが自然を破壊する」


【引用元】
自然エネルギーが自然にやさしいという嘘
https://www.msn.com/ja-jp/news/national/自然エネルギーが自然にやさしいという嘘/ar-AAy2PwY