메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류

추천
검색

논문 기본 정보

자료유형
학위논문
저자정보

박천음 (강원대학교, 강원대학교 대학원)

지도교수
이창기
발행연도
2020
저작권
강원대학교 논문은 저작권에 의해 보호받습니다.

이용수5

표지
AI에게 요청하기
추천
검색

이 논문의 연구 히스토리 (16)

초록· 키워드

오류제보하기
상호참조해결(coreference resolution)은 문서 내에 등장한 여러 단어들 중 같은 개체를 나타내는 단어를 찾아 하나의 엔티티로 정의하는 자연어처리 태스크이다. 문서에서 개체를 표현하는 단위를 멘션(mention)이라 하며, 상호참조해결을 수행하기 위한 후보가 된다. 멘션은 명사를 기반으로 중심어(head)와 수식어로 구성되며, head-final 언어에서 중심어는 멘션의 마지막 단어이다.
하나의 문장은 여러 구로 이뤄지며, 하나의 구에는 해당 구의 실질적 의미를 가지는 중심어와 중심어를 꾸며주는 수식어로 구성된다. 자연어는 중심어가 구에서 어디든 위치할 수 있는 head-initial 언어와 중심어가 구의 마지막에 위치하는 head-final 언어로 나뉘며, 우리가 사용하는 한국어나 중국어, 일본어 등은 head-final 언어에 속한다.
포인터 네트워크(pointer networks)는 RNN encoder-decoder 모델을 기반으로 하며, 주어진 입력에 대응되는 위치를 입력열에서 찾아 출력하는 딥 러닝 모델이다. 자연어처리 태스크는 대부분 고정된 크기의 타겟 클래스를 갖지만, 그렇지 않은 태스크도 존재한다. 포인터 네트워크는 입력열이 타겟 클래스이기 때문에 가변적인 크기를 갖는 타겟 클래스 문제를 해결할 수 있다. 이에 따라, 본 논문에서는 포인터 네트워크를 이용한 상호참조해결 모델을 제안한다.
본 논문에서는 한국어의 head-final 특징을 이용한 중심어 기반 상호참조해결의 문제를 정의하고, 포인터 네트워크를 이용한 상호참조해결 모델을 제안한다. 상호참조해결은 문서 단위이기 때문에 입력열의 길이가 길며, 포인터 네트워크는 입력열이 길어지면 vanishing gradient 문제나 타겟 클래스의 크기가 커지는 문제가 발생한다. 이와 같은 문제를 해결하기 위하여 본 논문에서는 계층적 네트워크 모델과 포지션 인코딩 모델을 적용한 포인터 네트워크를 제안한다. 또한 상호참조해결의 성능 향상을 위하여 다양한 문맥 정보를 활용한 포인터 네트워크와 대용량 코퍼스로 사전 학습하고 이를 파인 튜닝하는 BERT 기반 포인터 네트워크 모델을 제안한다.
실험 결과, 본 논문에서 제안한 포인터 네트워크를 이용한 중심어 기반 상호참조해결 방법이 질문 문서를 대상으로 한 경우 CoNLL F1 69.53%로 기존 규칙 기반이나 통계 기반 모델을 이용한 방법보다 더 좋은 성능을 보였다. 입력열이 길어져 발생하는 문제를 해결하기 위하여 포인터 네트워크를 응용한 모델의 경우, 계층적 모델에서 CoNLL F1 70.25%, 포지션 인코딩 기반 모델에서 CoNLL F1 71.78%로 일반 포인터 네트워크보다 더 향상된 성능을 보였다. 이에 따라, 제안한 방법이 길이가 긴 입력 데이터에 일반 포인터 네트워크 모델보다 강건한 것을 알 수 있다. 마지막으로 성능 향상을 위한 문맥 정보를 활용한 포인터 네트워크의 경우, BERT 기반 모델이 질문-정담 문서 쌍 데이터 셋에서 CoNLL F1 66.92%로 본 논문에서 제안한 단일 모델들 중 가장 좋은 성능을 보였으며, 이에 따라 본 논문에서 제안한 방법이 한국어 상호참조해결에 의미 있음을 알 수 있다.

목차

1 서 론 1
1.1 Contributions ........................................................................................................................ 6
2 관련 연구 9
2.1 규칙기반 기반 상호참조해결 ............................................................................................ 9
2.2 기계학습 기반 상호참조해결 .......................................................................................... 11
2.3 포인터 네트워크 ................................................................................................................ 14
3 한국어 특성을 반영한 상호참조해결 모델 17
3.1 Head-final 특성 ................................................................................................................. 17
3.2 중심어 기반 상호참조해결을 위한 포인터 네트워크 ................................................ 17
3.3 한국어 상호참조해결 데이터 .......................................................................................... 20
3.4 상호참조해결 평가 방법 .................................................................................................. 20
3.5 실험 설정 ............................................................................................................................ 23
3.6 실험 결과 ............................................................................................................................ 23
4 긴 입력 문서를 위한 상호참조해결 모델 25
4.1 계층적 포인터 네트워크를 이용한 상호참조해결 ...................................................... 25
4.2 포지션 인코딩 기반 스택 포인터 네트워크를 이용한 상호참조해결 .................... 28
4.3 실험 설정 ............................................................................................................................ 36
4.4 실험 결과 ............................................................................................................................ 36
5 다양한 문맥 정보를 이용한 상호참조해결 모델 41
5.1 셀프 매칭 어텐션 기반 포인터 네트워크를 이용한 상호참조해결 ........................ 41
5.2 Multi-resolution 포인터 네트워크를 이용한 상호참조해결 ..................................... 46
5.3 문맥 표현과 음절 표현 기반 포인터 네트워크를 이용한 상호참조해결 .............. 52
5.4 상호참조해결 질문 데이터 셋 단어 및 미등록어 통계 ............................................ 57
5.5 실험 설정 ............................................................................................................................ 58
5.6 실험 결과 ............................................................................................................................ 59
6 파인 튜닝 방법을 이용한 상호참조해결 모델 62
6.1 BERT 기반 Deep Biaffine을 이용한 상호참조해결 .................................................... 62
6.2 BERT-SRU 기반 Encoder-Decoder 모델을 이용한 중심어 타겟 기반 한국어 상호참조해결 .............................................................................................................................. 67
6.3 앙상블 지식 증류 기법을 이용한 상호참조해결 ........................................................ 70
6.4 실험 설정 ............................................................................................................................ 71
6.5 실험 결과 ............................................................................................................................ 72
7 결 론 75
참고 문헌 77
영문 초록 83

최근 본 자료

전체보기

댓글(0)

0