observe_db

왜 지금(2학년 1학기) 자료구조를 배워야할지. 전체적인 교과과정을 볼 때에프로그래밍에서의 Stack, Queue, linked list, array, tree, graph 등등컴퓨터 구조에서의 페이지 테이블(=Tree)알고리즘에서의 복잡도 계산프로그래밍 언어론에서의 Stack, Parsing Tree운영체제(OS)에서의 Priority queue, Scheduler컴파일러에서의 Parsing Tree네트워크에서의 Spanning Tree, Shortest Path(=Graph)데이터베이스에서의 B-Tree, B++ Tree, Hashing(Index) 위에 나열한 것들이 모두 자료구조를 알아야 하는 부분들.학습을 위한 기초적인 Fundemental 강화. Computer: 문제를 풀기 위한 장치Algo..

1. 프롬프트 학습 prompt learning(=few-shot learning, in-context learning)많은 재학습 없이 언어 모델을 다른 일에 사용할 수 있도록 하는 것프롬프트 구성을 통해 도메인 지식을 전달하여 다른 작업에 적응할 수 있도록 함gradient update 없음기존 fine-tuning기존 모델을 라벨 없는 데이터(raw data)로 pretraining 후labeled 데이터로 fine tune.gradient update가 있음. few-shot learningzero-shot: 예시가 없음one-shot: 하나의 예시 제시few-shot: 몇몇 예시 제시. Prompt Engineering프롬프트-언어 모델의 전제 조건어떻게 하는냐에 따라 다른 답변. CoT(Cha..

1. 사전 학습과 토큰화거대 언어 모델LSTM이나 Transformer등을 쌓아 언어 모델의 크기를 확장한 것(수백 M~T)일반적인 NLP TASK 성능 대폭 향상QnA 뿐 아니라 대화형 가능학습데이터 부족 문제: 학습량 및 미등록어 처리Pre-training: 학습 데이터 부족을 해결하기 위한 기초적 학습.대규모 원시 텍스트(raw text)를 이용하여 학습(self-supervised learning)모델이 일반적 언어를 처리할 수 있도록 초기화모델의 파라미터 초기값은 성능에 매우 중요사전 학습 후 fine tuning으로 성능 향상예시다음 단어 예측/빈칸 예측/단어 순서/바뀐 단어 맞추기/다음 문장 예측/ 문장 순서 예측단어 토큰화: 단어를 통계에 기반한 sub-word(토큰)으로 분리하여 미등록어..

원본 chap. 13~15 X는 doc.들의 공간C는 class의 집합D는 라벨된 doc.들의 학습 set 분류기 γ : X->Cex. 감성 분석 방식1) 수작업2) 규칙 기반3) 통계/확률적 Naive Bayes c_map = argmax P(c|d)이를 베이즈 정리를 이용하여 풀면c_map = argmax P(d|c)*P(c) 또한 이 수식을 따른다.n_d는 document의 길이(=token의 수)t_k는 문서속의 토큰. Maximum a posteriori(MAP) class  그리고 값들이 확률값이므로 [0,1]의 범위를 가진다.=>곱하면 수가 계속 작아져 underflow 발생 가능=>log 사용. 여기서 Nc는 class c 내의 doc의 수. N은 전체 doc 수Tct는 class c의 학..