observe_db

24.10.02 수업 개체명인식(Named Entity Recognition, NER)비정형 텍스트에서 개체명을 식별하고사람(Person, PS), 장소(Location, LC), 기관(Organization, OG) 등 미리 정의된 개체명(named)을 분류=>Sequence labeling예시로 의료분야의 약품, 유전자 이름, 임상 절차 등이 있음.하나의 개체로 처리할 명사구를 인식하고 그 명사구의 속성을 파악질의응답, 정보 검색, 상호 참조 해결, 토픽 모델링 등의 첫 단계로 종종 사용됨.명사를 처리하기 편리하고, 긴 명사가 처리되는 효과로 문장 전체의 이해도 편리해짐.고려사항올바른 범위: 전체적인 탐지가 필요평가 방법: 완전히 일치할 때에 or 일부 포함되면 점수를 주는 경우개체명 인식의 모호성:..

document의 다양한 format과 language.- word, pdf, hwp, html, excel, html 등등- 언어는 더하다.(한중일, 영어, 프랑스어, 독일어, 이탈리아어, 스페인어, 포르투갈어등등등)- character(문자)도 다양하고(유럽의 알파벳+변형, 키릴문자나 히라가나, 가타카나, 번체와 간체 등)- 여기에 코드 format은? utf-8이 일반적이지만, 그 외에도 많다. 나누는 단위는?-file단위? email 단위?-답이 없다.(크면 다시 찾는 경우 존재. 작으면 위치 파악이 어려움) 용어 정의Word: text 내에서 나타나는 연속된 단위의 문자Term: 일반적인 단어(대소문자 구분X, 기본형, 복수형X)Token: doc. 내에서 실제로 나타나는 각각의 instance..

태깅(일반적 의미): 같은 단어가 문맥에 따라 의미가 다를 경우(중의성), 이를 구분하는 정보 부착 작업ex. 품사 태깅, 단어 의미 태깅 품사 태깅(part-of-speech tagging): 문장을 이루고 있는 각 단어(형태소)에 정확한 하나의 품사를 부여하는 것(어휘 분석에서는) 어휘 태깅이라고도 함.많은 단어가 품사 중의성을 가지므로 이를 해결하는 작업.(형태론적 중의성 해결-morphological dis-ambiguation)일반적으로 형태소 분리를 가정.품사 중의성같은 단어(형태소)가 같은 문맥에서 여러 품사가 가능할 경우문맥 범위에 따라 중의성 해소(어절/문장/문단/문서..)형태소 분석어절 단위 분석여러 가능한 형태소 분석 후보 출력(품사를 포함하기도 함)품사 태깅문장 단위 분석각 어절에 ..

어절: 한국어에서는 띄어쓰기, 영어에서는 단어 단위(word phrase). 한 개 이상의 형태소로 구성.음절(Syllable): 말하고 듣는 가장 작은 발화의 단위. Character라고도 함. 자소와 명확한 구분을 위해 음절 사용.자소: 한 음절을 이루는 자음 및 모음. (한국어에서) 초,중,종성 구분. 코드: 글자와 숫자(코드)의 mapping을 표준으로 정한 것. 영문용 7비트 코드(ASCII)영문 확장용 8비트 코드: 유럽 글자나 그래픽코드 등을 위해 확장. 여러 종류 글자세트 정의ISO 10646, Unicode 등 한글 코드와 영문 코드영문은 1바이트 내에 수용 가능.(알파벳 26자+숫자, 특수기호)한글 코드는 코드 체계에 따라 바이트 수 필요.기존 영문 코드와 충돌 방지 필요SI/SO나 M..