지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.4
- 수록면
- 127 - 135 (9page)
- DOI
- 10.5391/JKIIS.2021.31.2.127
이용수
초록· 키워드
오류제보하기
최근 자연어 처리 분야의 순차적 레이블링을 위해 복수의 단어 임베딩 모델과 Recurrent Neural Network(RNN) 기반의 순차 모델을 이용한 인공 신경망이 보편적으로 사용되고 있다. 이로 인해 신경망 모델에 적합한 임베딩 벡터의 결합을 찾는 것과 순차 모델의 역전파 과정 중 발생하는 기울기 소실 문제를 해결하는 것은 중요한 연구 주제가 되었다. 본 논문은 복수의 임베딩 벡터들 중 일부를 사용하여 최적의 임베딩 결합을 찾는 Automated Concatenation of Embeddings(ACE)와 기울기 소실 문제를 해결하기 위해 셀프 어텐션을 활용하는 방법을 제안한다. 제안 방식의 성능을 검증하기 위해 순차적 레이블링 문제의 일종인 품사 태깅과 개체명 인식에서 다양한 데이터셋을 사용해 실험을 수행하였다. 그 결과 현재 최고의 성능을 내는 논문의 모델들 보다 향상된 성능을 보인다.
목차
요약
Abstract
1. 서론
2. 이론적인 배경
3. 제안된 방법론
4. 실험 및 관련 연구와의 성능 비교
5. 실험 결과
6. 결론
References
참고문헌 (40)
참고문헌 신청
She-yeong Cho, “Part-Of-Speech Tagging using multiple sources of statistical data,” Journal of The Korean Institute of Intelligent Systems, vol. 18, no. 4, pp. 501-505, 2008.
Alan Akbik, Duncan Blythe, and Roland Vollgraf, “Contextual String Embeddings for Sequence Labeling,” Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649, 2018.
Abhyuday Jagannatha, and Hong Yu, “Structured prediction models for RNN based sequence labeling in clinical text,” Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 856-865, 2016.
Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, “Efficient Estimation of Word Representations in Vector Space,” arXiv preprint arXiv: 1301.3781, 2013.
Jeffrey Pennington, Richard Socher, and Christopher D. Manning,2014. “Glove: Global vectors for word representation,” Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543, 2014.
Alan Akbik, Duncan Blythe, and Roland Vollgraf, “Contextual String Embeddings for Sequence Labeling,” Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649, 2018.
Abhyuday Jagannatha, and Hong Yu, “Structured prediction models for RNN based sequence labeling in clinical text,” Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 856-865, 2016.
Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean, “Efficient Estimation of Word Representations in Vector Space,” arXiv preprint arXiv: 1301.3781, 2013.
Jeffrey Pennington, Richard Socher, and Christopher D. Manning,2014. “Glove: Global vectors for word representation,” Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543, 2014.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
자연언어의 순차적 레이블 결정을 위한 심층학습
정보과학회지
2015 .10
-
2022 ACE-DAY를 마치며
대한토목학회지
2023 .03
-
제13회 ACE-Day를 마치며
대한토목학회지
2016 .07
-
신경망 기반 자연어 처리 모델의 임베딩 학습 관련 최신 연구 분석
한국정보과학회 학술발표논문집
2020 .12
-
Sequence-to-sequence 모델을 이용한 자연어생성
한국정보과학회 학술발표논문집
2017 .06
-
신경망 기반 텍스트 모델링에 있어 순차적 결합 방법의 한계점과 이를 극복하기 위한 담화 기반의 결합 방법
정보과학회 컴퓨팅의 실제 논문지
2017 .12
-
어텐션 기반 딥러닝 신경망 모델의 성능분석
한국정보과학회 학술발표논문집
2020 .07
-
Korean Movie Review Sentiment Analysis using Self-Attention and Contextualized Embedding
Journal of KIISE
2019 .09
-
RNN 기반 Sequence-to-Sequence 학습을 이용한 문장 복원 성능 평가
한국정보과학회 학술발표논문집
2016 .06
-
트랜스포머를 이용한 향상된 댓글 생성에 관한 연구
한국게임학회 논문지
2019 .10
-
Sequence-to-sequence 모델을 이용한 한국어 형태소 분석 및 품사 태깅
한국정보과학회 학술발표논문집
2016 .06
-
심리상담을 위한 Sequence-to-Sequence 신경망 모델 기반 감성 대화 기술
한국정보과학회 학술발표논문집
2018 .06
-
텍스트 모델링에 있어 순차적 결합 기반 신경망 모델의 한계점 극복을 위한 담화 기반의 결합 방법
한국정보과학회 학술발표논문집
2017 .06
-
다양한 sequence-to-sequence 모델 구성에 대한 연구
한국정보과학회 학술발표논문집
2018 .06
-
주의집중을 가진 Sequence-to-Sequence 순환신경망을 이용한 문서요약 구현
한국정보과학회 학술발표논문집
2019 .06
-
ACE 미들웨어를 활용한 무장관리 시스템 탑재 소프트웨어 적용 방안
한국항공우주학회 학술발표회 초록집
2016 .11
-
시퀀스 투 시퀀스(Sequence to Sequence)와 어텐션(Bahdanau Attention)을 이용한 문맥 기반 오타 교정
Proceedings of KIIT Conference
2020 .10
-
Sequence-to-sequence 모델을 이용한 한국어 질문 생성
한국정보과학회 학술발표논문집
2019 .06
-
순환신경망(RNN)을 통한 자연어 감성 분석
한국컴퓨터정보학회 학술발표논문집
2023 .07
-
심층 신경망 기반 자연어처리 모델의 성능 비교
한국통신학회논문지
2019 .07
이 논문의 저자 정보
최근 본 자료
댓글(0)
0