observe_db

1. 사전 학습과 토큰화거대 언어 모델LSTM이나 Transformer등을 쌓아 언어 모델의 크기를 확장한 것(수백 M~T)일반적인 NLP TASK 성능 대폭 향상QnA 뿐 아니라 대화형 가능학습데이터 부족 문제: 학습량 및 미등록어 처리Pre-training: 학습 데이터 부족을 해결하기 위한 기초적 학습.대규모 원시 텍스트(raw text)를 이용하여 학습(self-supervised learning)모델이 일반적 언어를 처리할 수 있도록 초기화모델의 파라미터 초기값은 성능에 매우 중요사전 학습 후 fine tuning으로 성능 향상예시다음 단어 예측/빈칸 예측/단어 순서/바뀐 단어 맞추기/다음 문장 예측/ 문장 순서 예측단어 토큰화: 단어를 통계에 기반한 sub-word(토큰)으로 분리하여 미등록어..

원본 chap. 13~15 X는 doc.들의 공간C는 class의 집합D는 라벨된 doc.들의 학습 set 분류기 γ : X->Cex. 감성 분석 방식1) 수작업2) 규칙 기반3) 통계/확률적 Naive Bayes c_map = argmax P(c|d)이를 베이즈 정리를 이용하여 풀면c_map = argmax P(d|c)*P(c) 또한 이 수식을 따른다.n_d는 document의 길이(=token의 수)t_k는 문서속의 토큰. Maximum a posteriori(MAP) class  그리고 값들이 확률값이므로 [0,1]의 범위를 가진다.=>곱하면 수가 계속 작아져 underflow 발생 가능=>log 사용. 여기서 Nc는 class c 내의 doc의 수. N은 전체 doc 수Tct는 class c의 학..

11/19원본 19, 21장 Ads(Advertise)Goto(1996)클릭하면 그 댓가 지불.돈을 많이 낸 페이지를 위로.문제는 성능(관련성) Two ranked lists왼쪽엔 검색결과, 오른쪽엔 광고. 광고도 rank하면?-클릭 수가 많은 순서로?-아니면 돈을 많이 낸 순서로? 처음은 bid price 순서로.->관련성 문제.(관련 없는게 왜 뜸?)대안: bid price와 관련성 2개로.(CTR: clickthrough rate = clicks per impressions) ad rank는 bid*CTR이 큰 순서대로paid는 (다음 순번의 ad rank)/CTR 이고, 맨 아래는 1센트(변동 가능) win-win-win검색엔진은 돌릴 돈을 어느정도 받고사용자는 필요한 검색을 하고, 어느정도 관련..

2. MotivationRecall 개선하기: 동의어, 유의어들 추출.ex. aircraft라는 query에 대해서 plane의 결과물도 넣는다면? 두가지 방법1. Local- relevance feedback2. thesaurus- query expansion 3. Relevance feedback: Basics사용자 피드백을 이용해서 다시 검색처음 검색->사용자가 관련 있는 것들을 선택->그 feedback 기반으로 다시 검색. 4. Relevance feedback: DetailsCentroid: 질량의 중심점(point)def. D는 document 집합, v(d)는 벡터 Rocchoi algorithmq_opt를 최대화하는 것.Dr: 관련있는 docsDnr: 관련 없는 docs이렇게 다시 쓸 수..