개인구독
소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.47 No.1
- 발행연도
- 2020.1
- 수록면
- 70 - 77 (8page)
- DOI
- 10.5626/JOK.2020.47.1.70
이용수
초록· 키워드
오류제보하기
한국어 커뮤니티 등에서 수집되는 인터넷 텍스트 데이터를 형태소 분석하기 위해서는, 띄어쓰기 오류가 있는 문장에서도 정확히 형태소 분석을 해내야 하고, 신조어 등의 사전 외 어휘 입력에 대한 원형복원 성능이 충분해야 한다. 그러나 기존 한국어 형태소분석기는 원형복원에 사전 또는 규칙 기반 알고리즘을 사용하는 경우가 많다. 본 논문에서는 시퀀스-투-시퀀스 모델을 기반으로 띄어쓰기 문제와 신조어 문제를 효과적으로 처리할 수 있는 한국어 형태소 분석기 모델을 제안한다. 본 모델은 사전을 사용하지 않고, 규칙 기반 전처리를 최소화한다. 일반적으로 사용하는 음절 외에도 음절 바이그램과 자소를 입력자질로 같이 사용하며, 공백을 제거한 데이터를 학습 데이터로 같이 사용한다. 제안 모델은 세종 말뭉치를 이용한 실험에서 사전을 사용하지 않는 기존 형태소 분석기에 비해 뛰어난 성능이 나왔다. 띄어쓰기가 없는 데이터셋 및 인터넷에서 직접 수집한 데이터셋에 대해서도 높은 성능이 나오는 것을 확인하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 모델 설명
4. 실험
5. 결론
References
참고문헌 (17)
참고문헌 신청
I. Sutskever, O. Vinyals, and Q. V. Le, "Sequence to sequence learning with neural networks," Advances in neural information processing systems, pp. 3104-3112, 2014.
A. Matteson, C. Lee, Y. B. Kim, and H. Lim, "Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging," arXiv preprint arXiv: 1806.10771, 2018.
S.-W. Kim and S.-P. Choi, "Research on Joint Models for Korean Word Spacing and POS (Part-Of-Speech) Tagging based on Bidirectional LSTMCRF," Journal of KIISE, Vol. 45 No. 8, pp. 792-800, 2018.
S. Lee, J. Tsujii, and H.-C. Rim, "Hidden Markov model-based Korean part-of-speech tagging considering high agglutinativity, word-spacing, and lexical correlativity," Proc. of the 38th Annual Meeting on Association for Computational Linguistics, Association for Computational Linguistics, pp. 384-391, 2000.
S. Lee, H. Lim, and H.-C. Rim, "Two-Level Partof- Speech Tagging for Korean Text Using Hidden Markov Model," Proc. of the 6th Annual Conference on Human and Cognitive Language Technology, pp. 305-312, 1994.
A. Matteson, C. Lee, Y. B. Kim, and H. Lim, "Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging," arXiv preprint arXiv: 1806.10771, 2018.
S.-W. Kim and S.-P. Choi, "Research on Joint Models for Korean Word Spacing and POS (Part-Of-Speech) Tagging based on Bidirectional LSTMCRF," Journal of KIISE, Vol. 45 No. 8, pp. 792-800, 2018.
S. Lee, J. Tsujii, and H.-C. Rim, "Hidden Markov model-based Korean part-of-speech tagging considering high agglutinativity, word-spacing, and lexical correlativity," Proc. of the 38th Annual Meeting on Association for Computational Linguistics, Association for Computational Linguistics, pp. 384-391, 2000.
S. Lee, H. Lim, and H.-C. Rim, "Two-Level Partof- Speech Tagging for Korean Text Using Hidden Markov Model," Proc. of the 6th Annual Conference on Human and Cognitive Language Technology, pp. 305-312, 1994.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features
Journal of KIISE
2017 .01
-
A Deep Learning-based Two-Steps Pipeline Model for Korean Morphological Analysis and Part-of-Speech Tagging
Journal of KIISE
2021 .04
-
대규모 텍스트 분석을 위한 한국어 형태소 분석기의 실행 성능 비교
한국정보과학회 학술발표논문집
2020 .07
-
딥러닝을 이용한 전이 기반 한국어 형태소 분석 및 품사 태깅
한국어정보학회 학술대회
2017 .01
-
Sequence-to-sequence 모델을 이용한 한국어 형태소 분석 및 품사 태깅
한국정보과학회 학술발표논문집
2016 .06
-
Sequence to Sequence 모델을 이용한 한국어 형태소 합성
한국정보과학회 학술발표논문집
2018 .06
-
데이터 기반 형태소 분석기의 신규명사 추출 경향 분석
한국정보과학회 학술발표논문집
2019 .12
-
Multi-task sequence-to-sequence learning을 이용한 한국어 형태소 분석과 구구조 구문 분석
한국어정보학회 학술대회
2017 .01
-
Joint Model of Morphological Analysis and Named Entity Recognition Using Shared Layer
Journal of KIISE
2021 .02
-
Sequence-to-Sequence 기반 다중 발화 후보를 이용한 형태소 분석기
한국정보과학회 학술발표논문집
2017 .06
-
머신러닝 기반 한국어 띄어쓰기 교정
한국정보과학회 학술발표논문집
2021 .06
-
감정점수를 활용한 시퀀스-투-시퀀스 기반 텍스트 요약
한국정보과학회 학술발표논문집
2019 .06
-
시퀀스 투 시퀀스(Sequence-to-sequence) 모델을 활용한 대화생성 결과 비교 분석
한국정보과학회 학술발표논문집
2018 .06
-
Copying mechanism을 이용한 Sequence-to-Sequence 모델기반 한국어 형태소 분석
한국정보과학회 학술발표논문집
2016 .12
-
효율적인 한국어 파싱을 위한 최장일치 기반의 형태소 분석기 기능 확장
디지털콘텐츠학회논문지
2016 .06
-
인터리브-디코더를 이용한 Sequence-to-Sequence기반 한국어 형태소 분석
한국정보과학회 학술발표논문집
2022 .06
-
형태소 분석기의 품사별 정확성 분석
Proceedings of KIIT Conference
2022 .06
-
확장된 LSTM 오토인코더 기반 이상 시퀀스 탐지 기법
한국전자거래학회지
2021 .02
-
문장 유형에 따른 한글 형태소 분석기 비교
한국정보과학회 학술발표논문집
2019 .12
-
Error Correction in Korean Morpheme Recovery using Deep Learning
Journal of KIISE
2015 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
Performance Analysis of Korean Morphological Analyzer based on Transformer and BERT
최용석
,
이공주
Journal of KIISE
2020
.08
Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features
이건일
,
이의현
,
이종혁
Journal of KIISE
2017
.01
딥러닝을 이용한 한국어 자동 띄어쓰기
황현선
,
이창기
한국정보과학회 학술발표논문집
2016
.06
신조어 감성사전 기반의 소셜미디어 감성분석 시스템
신판섭
한국컴퓨터정보학회논문지
2020
.04
특허 문서를 위한 형태소 분석기 비교 평가
이유진
,
김세빈
,
홍현석
외 1명
Proceedings of KIIT Conference
2019
.06
최근 본 자료
댓글(0)
0