observe_db

11/7 단어 임베딩(word Embedding): 문자를 숫자들의 배열인 벡터로 변환하는 방법: 또는 그러한 방법으로 만들어진 단어 벡터.단어벡터-단어사이의 관계(의미)를 나타냄. 단어 임베딩의 목표쉽게 확보할 수 있는 대량의 원시 말뭉치를 통해비지도 학습(self-supervised learning)을 하고다양한 NLP 시스템에서 범용적으로 사용할 수 있는 단어 벡터를 만드는  것One-hot Encoding: 학습 데이터에 존재하는 단어들을 수집하여 vocabulary 구축.단어들의 등장 빈도순으로 순열 부여.vocabulary의 크기(=|V|)가 매우 크므로 매우 큰 차원의 sparse vector가 필요하다.*정보검색에서 나오는 'term'의 수를 5M 정도로 잡는다.단어의 의미간 관계를 표현할..

11/06 기계번역(MT: Machine Translation): 기계를 이용하여 한 언어로 쓰인 글(원어)를 다른 언어의 글(번역어)로 변환ex) 파파고, 구글번역 기계 번역의 역사규칙기반-통계기반-신경망규칙기반에서 통계기반이 시작될 수 있던 이유는, 컴퓨터 규모가 커지고 통계적 데이터가 대량 축적되었기 때문.  규칙기반 기계 번역- 언어학적, 문법적 규칙을 이용해 문장을 번역- 문장을 형태소나 구문 등으로 분석하고 분해된 내용을 번역 후 재조합- 직접 번역/ 전달 번역/피봇 번역-N개의 언어를 번역할 때, 직접 번역과 전달 번역은 N*N(정확히는 N(N-1). 자기자신으로 번역하진 않으니), Interlingua는 2N의 번역 복잡도를 가진다.직접(direct) 번역: 언어 구조 변형 없이 거의 1:..

10/31 정보 추출(Information Extraction, IE): 비정형 텍스트로부터 구조화된 정보를 자동추출구조화된 정보는 관계형 튜플 형태로 표현ex. Entity1, Relation, Entity2  관계 추출(Relation Extraction): 개체간 관계를 식별하고 추출하는 작업각 개체에 연결되는 개체 유형과 둘 사이의 관계 유형을 추출 이벤트 추출(Event Extraction): 하나의 이벤트를 중심으로 주체, 대상, 장소, 시간 등을 추출하는 작업여러 개의 관계로 구성슬롯 채우기: -> 정보 추출의 목적비정형 데이터에서 정형 데이터 추출(관계, 추출)관계를 논리적 표현으로 변형하여 논리 연산논리적 연산을 통해 새로운 추론 가능의미적 관계를 이용한 질의 응답지정 관계 정보 추출: ..

10/29 주요 용어Term frequency: 용어의 빈도(instance의 수). ranking의 핵심tf-idf ranking: term frequency와 id frequency(Document frequency의 inverse). Vector space model: 벡터 공간에 넣어서 용어간의 유사도를 알아낼 수 있음. Ranked retrieval지금까지의 Boolean 방식은 용어의 유무만 알려준다.숙련자는 and/or의 조합으로 원하는 정보를 쉽게 찾지만, 일반인이 이런 테크닉을 하는 것은 어렵다.rank를 매겨서 상위 10개 정도만 보여준다면 쉬워진다. 관련된 것들을 먼저(상위에) 나오게 한다.relevance ranking을 위해서 query-document 짝에 대해 0~1의 값으로 ..