ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

コンピューターが理解するには、なぜ、ディープラーニングが必要なのかを理解した!

2019-09-17 09:42:25 | Weblog
AならばBを学習させて、「Aは?」と聞いてBを答えるのは、
理解しているのではなく、暗記しているから・・・

AならばBを学習させて、「Cは?」と聞いて「教えてもらってない!」と答えるのも
理解しているわけではない・・検索がうまくいったから


AならばBを学習させて、AとCの共通点と相違点を教える。
「Cは?」と聞いてBかどうか答えるのが、「理解した」ということ

つまり、Aとは何ぞや、Cとは何ぞやを概念化し、
どういうときにBができるか、これも概念化して
その結果を答えるというものが、理解したってこと。

つまり、入力と出力の間に概念が入って、概念操作をする。

そのときAならばBの場合、Aは入力、Bは出力で、この間をつなぐものは1層あればいい・
でも、概念を形成する場合、入力を抽象化しないといけない。つまり、捨象する層が必要になってくる。
このため、何層も必要になってくる。だからディープラーニング。
この何層もある隠れ層の中に概念ができ、その概念が入出力をつなぐことになるのでしょう。


ここで、先ほどの問題
1.AならばBを学習させて、
2.AとCの共通点と相違点を教える。
というのは、2つの待った食い違ったタスクになる。答えさせたいのは1であり、
2は概念形成をするもの。ここは、1のようなAをいれたらBという形で
学習させる必要はない。穴埋め問題でも、学習させることにより、概念は獲得していく。

ということで、はじめに汎用的な2を教えた後で、実際の問題の1を転移学習させるのが、
BERTなんでしょうか?

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする