observe_db

언어모델(Language Model, LM): 언어의 구성 요소에 확률 값을 부여하여 다음 구성요소를 예측하거나 생성하는 모델언어 구성요소: 글자, 형태소, 단어, 단어열(문장), 문단기본적으로 주어진 단어를 바탕으로 다음 단어(또는 그 조합)를 예측하는 일다양한 자연어 처리 문제를 해결하기 위한 기초로 활용 통계적 언어 모델(Statistical Language Model): 단어열이 가지는 확률 분포 기반으로 각 단어 조합 예측주어진 단어를 기반으로 확률이 가장 높은 다음 단어를 예측문장 생성에 이용 가능ex. n-gram 언어 모델 조건부 확률의 연쇄 법칙(chain rule)을 이용하여 단어 조합(문장)의 등장 확률 예측.학습 말뭉치 내에서 각 단어의 조합이 나오는 횟수에 기반하여 확률 계산모든 ..

10/30 단어 의미 모호성 해소(Word-sence disambiguation): 문장 내에서 모호성을 가지는 어휘를 사전에 정의된 의미와 매칭하여 어휘적 모호성을 해소하는 문제 문제 정의어휘 비교 방법레스크 알고리즘어휘 의미망 기반 방법분류 기반 방법(어휘 자질 벡터 비교 방법 포함)벡터 비교 방법(dence vector)딥러닝 기반 분류 방법압축된 의미 레이블 기반 분류 방법문맥과 의미 정의 문맥 비교문맥 벡터와 의미 정의 벡터 비교 Lesk 알고리즘(Lesk, 1986): 단어의 사전 뜻풀이에 쓰인 단어들과 의미적 모호성이 있는 단어 주변 문맥에 나타난 문맥 패턴 또는 중복된 단어 수를 보고 의미를 결정하는 방법과정단어 선택(select word)문맥 범위 정의(Define context wind..

1. 자연어 처리 정의자연어: 일상에서 자연적으로 발생되어 사용하는 인간 언어(ex. 한국어, 영어, 중국어..): 형식이 자유롭기 때문에 컴퓨터가 바로 이해하기 어려움: 자연언어라고도 함 인공어(인공 언어): 프로그래밍 언어와 같이 사람이 의도나 목적에 따라 만든 언어: 형식이 명확하여 컴퓨터(+컴파일러)가 바로 이해하여 처리 가능 자연어 처리(Natural Language Processing, NLP): 자연어를 전산 공학적 측면에서 분석하고 이를 활용하는 일: 경우에 따라 자연어 이해(Natural Language Understanding, NLU)와 자연어 생성(Natural Language Generation, NLG)의 융합으로도 본다.: ex. 형태소 분석, 구문 분석, 문서 교정, 기계 번..