Kullback-Leibler Divergence

Kullback-Leibler Divergence는 두 모델이 얼마나 비슷하게 생겼는지를 알기 위한 척도인데, 제시한 모델이 실제 모델의 각 item들의 정보량을 얼마나 잘 보존하는지를 측정한다. 즉, 원본 데이터가 가지고 있는 정보량을 잘 보존 할 수록 원본 데이터와 비슷한 모델이라는 것이다.

• https://hyeongminlee.github.io/post/prob002_kld_jsd/