[용어] Perplexity

논문 읽다가 perplexity라는 단어가 나왔다.

원문은 이러한데(The Era of 1-bit LLMs논문)

It matches the full-precision(i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-task performance, while....

일단 perplexity의 사전적인 뜻은

캠브릿지 영어 사전

: 혼란스러운 상태 또는 복잡하거나 어려운 상황이나 사물

네이버 사전

일단 '당혹감', '복잡한 상황'등을 의미한다고 보여지는데,

'<당혹한 상황>과 최종 결과의 성능 측면에서..' 로 해석이 되버린다.

찾아본 결과는 자연어 처리 쪽에서 perplextiy라는 단어를 자체적인 용어로 사용하고 있었다.

(한 책에서는 PPL이라고 표현하기도 하는 듯)

사전적 뜻과 유사하게 (언어모델이 생성해야하는 단어가) 어느 정도로 헷갈리는지/혼동되는지를 나타내는 지표이고, 수가 작을 수록 성능이 좋음을 의미한다.

 

수식은 아래와 같다. 문장 W의 길이가 N일 때의 Perplexity를 구하는 공식이다.

 

다음과 같은 형태로도 나타낼 수 있다.