참고하면 좋은 자료 : KL divergence - 공돌이의 수학정리노트 KL divergence - 공돌이의 수학정리노트 (Angelo's Math Notes) angeloyeo.github.io Entropy Entropy는 정보 이론에서 사용되는 개념 중 하나로, 어떤 확률 분포가 가지는 정보의 평균적인 양을 나타내는 값이다. 정보량이 많을수록 Entropy 값은 높아지며, 정보량이 적을수록 Entropy 값은 낮아진다. (엔트로피가 크다 = 무질서도가 크다 = 예측 불가능) $$H(X) = - \sum_{i=1}^{n} P(x_i) \log_{2} P(x_i)$$ 여기서 $P(x)$는 확률 분포를 나타낸다. Examples 엔트로피를 이해하기 위해 동전 던지기의 예를 고려할 수 있다. 공정한 동전..
'Information Theory' 태그의 글 목록