perplexity

PPL (Perplexity) PPL은 언어 모델 (Language Model)을 평가하기 위한 평가 지표 중 하나로써, 언어 모델이 예측한 예측값에 대해 "얼마나 헷갈리는지에 대한 정도" 를 수치로 나타낸 것이라 이해할 수 있다. 예를 들어, PPL이 10이라면 "10만큼 헷갈리는 것" 이고, PPL이 3000이라면 "3000만큼 헷갈리는 것" 이다. 예시에서 추론할 수 있듯이, PPL은 낮을수록 언어 모델의 성능이 좋다는 것을 의미한다. Basic Notation 문장 $S$는 $N$개의 단어로 이루어짐 (문장 $S$를 이루고 있는 각각의 단어들은 $w_1, w_2, \cdots, w_N$) $P_{LM}(S) = P_{LM}(w_1, w_2, \cdots, w_N)$은 $LM$ (Language M..