[NLP]1. 자연어처리 개요

1. 자연어 처리 정의

자연어

: 일상에서 자연적으로 발생되어 사용하는 인간 언어(ex. 한국어, 영어, 중국어..)

: 형식이 자유롭기 때문에 컴퓨터가 바로 이해하기 어려움

: 자연언어라고도 함

 

인공어(인공 언어)

: 프로그래밍 언어와 같이 사람이 의도나 목적에 따라 만든 언어

: 형식이 명확하여 컴퓨터(+컴파일러)가 바로 이해하여 처리 가능

 

자연어 처리(Natural Language Processing, NLP)

: 자연어를 전산 공학적 측면에서 분석하고 이를 활용하는 일

: 경우에 따라 자연어 이해(Natural Language Understanding, NLU)와 자연어 생성(Natural Language Generation, NLG)의 융합으로도 본다.

: ex. 형태소 분석, 구문 분석, 문서 교정, 기계 번역 등

 

언어학(Linguistics): 인간이 세상을 자연어로 모델링하는 방법을 연구

 

전산언어학(Computational Linguistics): 언어학의 한 분야로 사람이 언어를 어떻게 처리(모델링)하는가를 주로 연구

 

 

2. 언어 처리 규칙의 한계

언어의 모호성(Ambiguity)-

• 어휘, 구, 의미 수준 등
• 단어 의미의 모호성
  • 배를 타다/배가 아프다/배를 먹다/배를 사다/배로 갚겠다.
• 문장의 모호성
  • Stolen painting was found by tree
  • 아름다운 꽃과 아이<--꽃과 아이 모두 아름다운 건지, 아니면 꽃만 아름다운건지. (중의성)

 

언어의 규칙성

: 단어나 문장 등 작은 문법 단위들이 갖는 구조적 특성

: 같은 패턴이 반복되면 비슷한 의미로 유추 가능

 

규칙의 예외

• 복수표현
  • 규칙: 복수표현은 -s,나 -es를 붙인다.
  • 예외: child->children, goose->geese, fish, woman->women
• 시제 표현
• 규칙(영): 과거형은 -ed
• 예외: eat->ate, run->ran, 
• 의미 변화
  • give me a hand: 도움을 요청하는 말.or 정말로 손을 달라는 말.(아이언맨3 대사)
  • 상황에 따라 의미가 변화함.

 

언어의 유연성

• 신조어, 구조어, 의미 변화: 단어가 생기고, 사라지고, 의미가 확대/축소되고, 변화함.
  • ex1) '어리다'가 중세국어에는 어리석다는 느낌이라면, 현재는 나이가 적은.
  • ex2)'하다'가 많다인 시절도 있다.
• 문맥에 따라 변화하는 단어 의미
  • 품사에 따라, 상황에 따라