(Shannon) Entropy, Cross Entropy, KL Divergence 참고하면 좋은 자료 : KL divergence - 공돌이의 수학정리노트 KL divergence - 공돌이의 수학정리노트 angeloyeo.github.io Entropy Entropy는 정보 이론에서 사용되는 개념 중 하나로, 어떤 확률 분포가 가지는 정보의 평균적인 양을 나타내는 값이다. 정보량이 많을수록 Entropy 값은 높아지며, 정보량이 적을수록 Entropy 값은 낮아진다. 여기서 p(x)는 확률 분포를 나타낸다. Examples 엔트로피를 이해하기 위해 동전 던지기의 예를 고려할 수 있다. 공정한 동전이 있다면 이 시스템의 엔트로피는 1이 될 것이다. 즉, 평균적으로 각 동전 던지기에서 1비트의 정보를 ..
