Notes on Kullback-Leibler Divergence and Likelihood Theory カルバック・ライブラ距離
こちらを参照:http://www.snl.salk.edu/~shlens/kl.pdf
- カルバック-ライブラ(Kullback-Leibler)ダイバージェンス(以下、DKL)は2つの確率分布の類似度を定量化する指標である
- DKL(p||q) = Σi pi log2(pi/qi)
- DKLは分布p,qに関して非対象であり、非負数である
- p,qが正確に一致する場合、限りなく近い場合は0となる
- "真の分布pをqで近似することによるペナルティ"
- 尤度を”観測値が生起する確率"と考えると、仮定している分布qに対して観測分布pが近づく程、全観測値の平均尤度は1となり、このときDKL=0となる。逆に、平均尤度が0であれば、DKL=∞となる
- このように、実際にデータがモデルqの分布に従っているとすれば、DKLは効果的に分布pに基づいた観測値の平均尤度を測定する。
- DKL(p||q) = -平均対数尤度となる
こちらも参照:http://d.hatena.ne.jp/ryamada22/20120705/1341476971
- つまりは、DKLとはモデルqに対してpが観測される尤度とモデルpに対してpが観測される尤度の尤度比
- pとqに関しては非対象である
- KL distanceは対称性を持たせて"距離"のようにしたもの
- RではFNNパッケージ(library(FNN))が使える)