일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- NLP
- C언어
- OS
- 애자일
- 랩실일기
- 데이터베이스
- 파싱테이블
- 데이터분석
- 파싱
- DB
- 836
- 가상메모리
- 정보검색
- React
- 자연어처리
- 스케줄러
- 운영체제
- 컴파일
- Agile
- 객체지향설계
- 웹소프트웨어
- css
- 프로세스
- 오픈소스웹소프트웨어
- 컴파일러
- Linear Algebra
- 소프트웨어공학
- 클래스
- 벡터
- 언어모델
- Today
- Total
목록자연어처리 (10)
observe_db
10/31 의미역 분석: 의미를 해석하기 위해 서술어가 수식하는 대상의 의미관계를 파악하고 역할을 분류-서술어 중심으로 문장 파악(FrameNet과 유사)논항: 수식을 받는 대상문장 구조가 바뀌어도 논항에 대한 행위주/피동작주는 불변.(문장 내의 성분은 변화 가능)의미역은 문법구조에 반영되는 의미의 측면을 파악하기 위해 고안되었음구조적으로 모호성을 가지는 문장의 의미를 정확하게 이해할 수 있음. 의미역 종류행동주도구피동주/수동주경험자수혜자출처/근원도달점/목표장소/위치(수)이유 (수)목적 (수)경로 (수)시간 (수)방법(수)수의적 의미역은 서술어의 의미를 보충한다.통사적 분석에서 의미역 기준에 따라 하나의 명사구는 하나의 의미역만을 가짐.Fillmore의 FrameNet에 기반 ProBankCoNLL 2..
태깅(일반적 의미): 같은 단어가 문맥에 따라 의미가 다를 경우(중의성), 이를 구분하는 정보 부착 작업ex. 품사 태깅, 단어 의미 태깅 품사 태깅(part-of-speech tagging): 문장을 이루고 있는 각 단어(형태소)에 정확한 하나의 품사를 부여하는 것(어휘 분석에서는) 어휘 태깅이라고도 함.많은 단어가 품사 중의성을 가지므로 이를 해결하는 작업.(형태론적 중의성 해결-morphological dis-ambiguation)일반적으로 형태소 분리를 가정.품사 중의성같은 단어(형태소)가 같은 문맥에서 여러 품사가 가능할 경우문맥 범위에 따라 중의성 해소(어절/문장/문단/문서..)형태소 분석어절 단위 분석여러 가능한 형태소 분석 후보 출력(품사를 포함하기도 함)품사 태깅문장 단위 분석각 어절에 ..
어절: 한국어에서는 띄어쓰기, 영어에서는 단어 단위(word phrase). 한 개 이상의 형태소로 구성.음절(Syllable): 말하고 듣는 가장 작은 발화의 단위. Character라고도 함. 자소와 명확한 구분을 위해 음절 사용.자소: 한 음절을 이루는 자음 및 모음. (한국어에서) 초,중,종성 구분. 코드: 글자와 숫자(코드)의 mapping을 표준으로 정한 것. 영문용 7비트 코드(ASCII)영문 확장용 8비트 코드: 유럽 글자나 그래픽코드 등을 위해 확장. 여러 종류 글자세트 정의ISO 10646, Unicode 등 한글 코드와 영문 코드영문은 1바이트 내에 수용 가능.(알파벳 26자+숫자, 특수기호)한글 코드는 코드 체계에 따라 바이트 수 필요.기존 영문 코드와 충돌 방지 필요SI/SO나 M..
인간은 특징 인식으로 어떤 개념을 이해할 수 있으나컴퓨터는 불가능.(rule-based) 인공 신경망(Neural Network): 생물학적 신경망(뇌)을 계산 모델로 변경: 하나의 공통적인 알고리즘으로 작동되도록 함-학습에 의해 모든 것 처리. 퍼셉트론(Perceptron)Single: 입력/출력 2개 층으로 구성.Multi: 입력/출력과 hidden layer로 3개 이상의 층 RNN(Recurrent Neural Network): 언어와 같은 순서가 있는 단어열을 처리할 수 있는 인공 신경망: 노드는 하나의 인공신경망 cell을 말함.: 시간 순서상 다음 셀로 정보가 전달되는 연결 존재 오류 역전파(Back-propagation Through Time, BPTT): 손실을 미분하여 가중치 재조정: ..