observe_db

1. 사전 학습과 토큰화거대 언어 모델LSTM이나 Transformer등을 쌓아 언어 모델의 크기를 확장한 것(수백 M~T)일반적인 NLP TASK 성능 대폭 향상QnA 뿐 아니라 대화형 가능학습데이터 부족 문제: 학습량 및 미등록어 처리Pre-training: 학습 데이터 부족을 해결하기 위한 기초적 학습.대규모 원시 텍스트(raw text)를 이용하여 학습(self-supervised learning)모델이 일반적 언어를 처리할 수 있도록 초기화모델의 파라미터 초기값은 성능에 매우 중요사전 학습 후 fine tuning으로 성능 향상예시다음 단어 예측/빈칸 예측/단어 순서/바뀐 단어 맞추기/다음 문장 예측/ 문장 순서 예측단어 토큰화: 단어를 통계에 기반한 sub-word(토큰)으로 분리하여 미등록어..

논문 읽다가 perplexity라는 단어가 나왔다. 원문은 이러한데(The Era of 1-bit LLMs논문) It matches the full-precision(i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-task performance, while.... 일단 perplexity의 사전적인 뜻은 : 혼란스러운 상태 또는 복잡하거나 어려운 상황이나 사물 일단 '당혹감', '복잡한 상황'등을 의미한다고 보여지는데, '과 최종 결과의 성능 측면에서..' 로 해석이 되버린다. 찾아본 결과는 자연어 처리 쪽에서 perplextiy라는 단어를 자체..