Notes on Kullback-Leibler Divergence and Likelihood Theory カルバック・ライブラ距離

こちらを参照：http://www.snl.salk.edu/~shlens/kl.pdf

• カルバック-ライブラ(Kullback-Leibler)ダイバージェンス(以下、DKL)は2つの確率分布の類似度を定量化する指標である
• DKL(p||q) = Σi pi log2(pi/qi)
• DKLは分布p,qに関して非対象であり、非負数である
• p,qが正確に一致する場合、限りなく近い場合は0となる
• "真の分布pをqで近似することによるペナルティ"

• 尤度を”観測値が生起する確率"と考えると、仮定している分布qに対して観測分布pが近づく程、全観測値の平均尤度は1となり、このときDKL=0となる。逆に、平均尤度が0であれば、DKL＝∞となる
• このように、実際にデータがモデルqの分布に従っているとすれば、DKLは効果的に分布pに基づいた観測値の平均尤度を測定する。
• DKL(p||q) = -平均対数尤度となる

こちらも参照：http://d.hatena.ne.jp/ryamada22/20120705/1341476971

• つまりは、DKLとはモデルqに対してpが観測される尤度とモデルpに対してpが観測される尤度の尤度比
• pとqに関しては非対象である
• KL distanceは対称性を持たせて"距離"のようにしたもの
• RではFNNパッケージ(library(FNN))が使える)