observe_db

2. MotivationRecall 개선하기: 동의어, 유의어들 추출.ex. aircraft라는 query에 대해서 plane의 결과물도 넣는다면? 두가지 방법1. Local- relevance feedback2. thesaurus- query expansion 3. Relevance feedback: Basics사용자 피드백을 이용해서 다시 검색처음 검색->사용자가 관련 있는 것들을 선택->그 feedback 기반으로 다시 검색. 4. Relevance feedback: DetailsCentroid: 질량의 중심점(point)def. D는 document 집합, v(d)는 벡터 Rocchoi algorithmq_opt를 최대화하는 것.Dr: 관련있는 docsDnr: 관련 없는 docs이렇게 다시 쓸 수..

2. Introduction검색 엔진의 평가지표- 얼마나 인덱스가 빠른지- 얼마나 빠르게 찾는지- 쿼리당 비용이 얼마인지이러한 속도/크기/비용을 수치화 + 사용자 만족도(user happiness)도 주요함. Factor들은 이러한 것들을 포함한다.응답 속도인덱스 크기uncluttered UI'relevance'(관련 있는지)무료인가? 사용자(USER)에 대한 정의searcher(검색자): 빨리 결과가 나오면 좋아함advertiser(광고자): 많이 클릭하면 좋아함buyer(구매자): 많이 구매하면 좋아함seller(판매자): 많이 판매하면 좋아함CEO: 회사의 이익/일이 효율적이면 좋아함 사용자 만족도 == 쿼리의 결과가 얼마나 연관있는지.(relevance)그렇다면 어떻게 relevance를 측정하는..

언어모델(Language Model, LM): 언어의 구성 요소에 확률 값을 부여하여 다음 구성요소를 예측하거나 생성하는 모델언어 구성요소: 글자, 형태소, 단어, 단어열(문장), 문단기본적으로 주어진 단어를 바탕으로 다음 단어(또는 그 조합)를 예측하는 일다양한 자연어 처리 문제를 해결하기 위한 기초로 활용 통계적 언어 모델(Statistical Language Model): 단어열이 가지는 확률 분포 기반으로 각 단어 조합 예측주어진 단어를 기반으로 확률이 가장 높은 다음 단어를 예측문장 생성에 이용 가능ex. n-gram 언어 모델 조건부 확률의 연쇄 법칙(chain rule)을 이용하여 단어 조합(문장)의 등장 확률 예측.학습 말뭉치 내에서 각 단어의 조합이 나오는 횟수에 기반하여 확률 계산모든 ..

2. Why rank?랭킹을 통해 문제를 줄인다. 여러가지 방법들Videotape themAsk them to "think aloud"Interview themEye-track themTime themRecord and count their clicks그리고 결과를 추적.결과를 보면(그래프)- 보는거와 클릭하는 것 3. More on cosine이전의 유사도 계산에서 length normalization을 했다.거리로 유사도가 흐려지는 것을 방지. 그러나 이래도 문제 발생.- 문서 크기가 작으면 유사도가 과대평가되고, 문서가 크면 유사도가 과소평가됨.  =>pivot normalization사용 Pivot normalization-pivot length를 정하고, 그 길이를 기준(그래프의 pivot이라 ..