observe_db

1. 프롬프트 학습 prompt learning(=few-shot learning, in-context learning)많은 재학습 없이 언어 모델을 다른 일에 사용할 수 있도록 하는 것프롬프트 구성을 통해 도메인 지식을 전달하여 다른 작업에 적응할 수 있도록 함gradient update 없음기존 fine-tuning기존 모델을 라벨 없는 데이터(raw data)로 pretraining 후labeled 데이터로 fine tune.gradient update가 있음. few-shot learningzero-shot: 예시가 없음one-shot: 하나의 예시 제시few-shot: 몇몇 예시 제시. Prompt Engineering프롬프트-언어 모델의 전제 조건어떻게 하는냐에 따라 다른 답변. CoT(Cha..

1. 사전 학습과 토큰화거대 언어 모델LSTM이나 Transformer등을 쌓아 언어 모델의 크기를 확장한 것(수백 M~T)일반적인 NLP TASK 성능 대폭 향상QnA 뿐 아니라 대화형 가능학습데이터 부족 문제: 학습량 및 미등록어 처리Pre-training: 학습 데이터 부족을 해결하기 위한 기초적 학습.대규모 원시 텍스트(raw text)를 이용하여 학습(self-supervised learning)모델이 일반적 언어를 처리할 수 있도록 초기화모델의 파라미터 초기값은 성능에 매우 중요사전 학습 후 fine tuning으로 성능 향상예시다음 단어 예측/빈칸 예측/단어 순서/바뀐 단어 맞추기/다음 문장 예측/ 문장 순서 예측단어 토큰화: 단어를 통계에 기반한 sub-word(토큰)으로 분리하여 미등록어..

언어모델(Language Model, LM): 언어의 구성 요소에 확률 값을 부여하여 다음 구성요소를 예측하거나 생성하는 모델언어 구성요소: 글자, 형태소, 단어, 단어열(문장), 문단기본적으로 주어진 단어를 바탕으로 다음 단어(또는 그 조합)를 예측하는 일다양한 자연어 처리 문제를 해결하기 위한 기초로 활용 통계적 언어 모델(Statistical Language Model): 단어열이 가지는 확률 분포 기반으로 각 단어 조합 예측주어진 단어를 기반으로 확률이 가장 높은 다음 단어를 예측문장 생성에 이용 가능ex. n-gram 언어 모델 조건부 확률의 연쇄 법칙(chain rule)을 이용하여 단어 조합(문장)의 등장 확률 예측.학습 말뭉치 내에서 각 단어의 조합이 나오는 횟수에 기반하여 확률 계산모든 ..

11/7 단어 임베딩(word Embedding): 문자를 숫자들의 배열인 벡터로 변환하는 방법: 또는 그러한 방법으로 만들어진 단어 벡터.단어벡터-단어사이의 관계(의미)를 나타냄. 단어 임베딩의 목표쉽게 확보할 수 있는 대량의 원시 말뭉치를 통해비지도 학습(self-supervised learning)을 하고다양한 NLP 시스템에서 범용적으로 사용할 수 있는 단어 벡터를 만드는  것One-hot Encoding: 학습 데이터에 존재하는 단어들을 수집하여 vocabulary 구축.단어들의 등장 빈도순으로 순열 부여.vocabulary의 크기(=|V|)가 매우 크므로 매우 큰 차원의 sparse vector가 필요하다.*정보검색에서 나오는 'term'의 수를 5M 정도로 잡는다.단어의 의미간 관계를 표현할..