メモ relative entropy or Kullback‐Leibler divergence

情報論では、相対エントロピーと呼ばれる。（比護氏より）
-------------------------
http://www.inference.phy.cam.ac.uk/mackay/itila/
David MacKay: Information Theory, Inference, and Learning Algorithms: Home

Gibbs' inequality

DKL, although it is sometimes　called the `KL distance', is not strictly a distance.

------------------------------
佐和隆光「回帰分析」では　イェンセンの不等式から説明していた。


http://blog.goo.ne.jp/raycy/e/2c1f329abe5b14a48edb1632dcc20e5e
霊犀社２：絶対不等式　確率分布　確率不等式

イェンセンの不等式　イェンセン　不等式: ウェブページ |

-----------------------------
オリジナルのKLダイバージェンスは対称形をしている。その、片方だけを使っているのが、今日の多く語られる場面でのKL情報量である。

甘利俊一「情報理論」（P.207）堀部安一「情報エントロピー論」（P.90）

KL情報量　対称: ウェブページ |

両方向のKL情報量の和
----------------------
相互情報量というのもある。KL情報量とは違うとある。
相互情報量 : ウェブページ |
http://www.eb.waseda.ac.jp/murata/~mura/lecture/ica/note/node70.html
相互情報量(mutual information)

相互情報量　KL情報量 : ウェブページ |

------------------------------
相互情報量　相対エントロピー

日本語なるほど塾・にほんごの立役者・漢字の力”一目でわかる漢字パワー”

口の向き　即　既
足の向き　違　逆
正しい　　城壁都市を征服した軍は正しい

阿辻哲次