기술 검색
자연어 처리 시스템 및 자연어 처리에서의 단어 표현 방법
| 특허명 | 자연어 처리 시스템 및 자연어 처리에서의 단어 표현 방법 | ||
| 출원인 | 고려대학교 산학협력단 | 출원일 | 2019년 7월 4일 |
| 공개일 | 2020년 4월 20일 | 공고일 | 2021년 6월 7일 |
| 요약 |
본 발명은 자연어 처리 시스템 및 자연어 처리에서의 단어 표현 방법에 관한 것으로서, 자연어 처리 시스템에 의해 수행되는 자연어 처리에서의 단어 표현 방법에 있어서, a) 적어도 하나 이상의 단어를 포함하는 어휘 및 각 단어에 대해 기학습된 단어 임베딩 정보를 포함하는 어휘 사전 데이터세트를 제공하는 단계; b) 상기 어휘 사전 데이터세트에 기초한 어휘가 입력 데이터로 제공되면, 단어 표현 모델을 이용하여 상기 입력 데이터에 존재하는 단어들에 대한 하위 단어(subword) 정보를 추출하고, 상기 하위 단어 정보를 단어 임베딩 벡터를 산출하는 단계; 및 c) 상기 산출된 단어 임베딩 벡터와 해당 단어의 기학습된 단어 임베딩 정보를 매칭함으로써 상기 기학습된 단어 임베딩 정보를 상기 산출된 단어 임베딩 벡터로 대체하여 해당 단어에 대한 단어 표현을 학습하는 단계를 포함하되, 상기 단어 표현 모델은, 상기 하위 단어 정보를 이용하여 하위 단어 특징 벡터들을 산출하는 합성곱 신경망(convolutional neural network) 기반의 컨볼루션 모듈과, 상기 컨볼루션 모듈에서 산출된 하위 단어 특징 벡터들을 적응적으로 결합하여 해당 단어의 단어 임베딩 벡터를 산출하는 하이웨이 네트워크(highway network) 기반의 하이웨이 모듈을 포함하는 것이다.
|
||
관련 특허
| 특허명 | 출원일 | ||
|---|---|---|---|
| 신경망 상의 문법 변형을 이용한 가짜뉴스 탐색 방법, 이를 수행하기 위한 기록매체 및 장치 | 2018년 11월 30일 | ||
| 마우스 움직임 패턴 기반의 사용자 인증 시스템 및 그 방법 | 2013년 6월 18일 | ||
| 사용자 프로파일링을 이용한 사용자의 선호 패션 추천 방법 | 2018년 6월 29일 | ||
| 주제 분류 모듈 및 그를 이용한 문맥 광고 시스템 | 2009년 11월 13일 | ||
| 병렬 말뭉치의 구 정렬을 이용한 숙어 표현 인식 장치 및 그 방법 | 2010년 9월 2일 | ||
