지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제27권 제9호
- 발행연도
- 2021.9
- 수록면
- 428 - 439 (12page)
- DOI
- 10.5626/KTCP.2021.27.9.428
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
최근 여러 자연어 처리 분야에서 사전 학습 언어 모델인 BERT를 활용하여 분석 과제에 최적화된 텍스트 표현을 추출하려는 연구가 활발하게 이루어지고 있다. 특히 BERT의 학습 방식 중 하나인 MLM(Masked Language Model)을 활용하여 도메인 정보 또는 분석 과제 데이터를 추가 사전 학습(Further Pre-training)하는 시도가 이어지고 있다. 하지만 기존의 MLM 기법이 채택한 무작위 마스킹을 사용하여 감성 분류 과제에서 추가 사전 학습을 수행하는 경우, 분류 학습에 중요한 단서가 되는 단어가 마스킹될 수 있다는 가능성으로 인해 문장 전체에 대한 감성 정보 학습이 충분히 이루어지지 않는다는 한계가 있다. 이에 본 연구에서는 무작위 마스킹이 아닌 단서 단어를 제외하고 마스킹하는 선택적 마스킹을 통해 감성 분류 과제에 특화된 추가 사전 학습을 수행할 수 있는 방법을 제안한다. 더불어 주변 단어를 선택하기 위해 어텐션 메커니즘(Attention Mechanism)을 활용하여 단어의 감성 기여도를 측정하는 방안도 함께 제안한다. 제안 방법론을 실제 감성 댓글에 적용하여 문장 벡터를 추론하고 감성 분류 실험을 수행한 결과, 제안 방법론이 기존의 여러 비교 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 제안 방법
4. 실험
5. 결론
References
참고문헌 (23)
참고문헌 신청
J. Devlin, W. Chang, K. Lee, and K. Toutanava, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv preprint arXiv:1810.04805, 2018.
Y. Wang, M. Huang, X. Zhu, and L. Zhao, "Attention-based LSTM for Aspect-level Sentiment Classification," Proc. of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, pp. 606-615, 2016.
T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Efficient Estimation of Word Representations in Vector Space," Proc. of the International Conference on Learning Representations, ICLR 2013, 2013.
P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov, "Enriching Word Vectors with Subword Information," Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.
T. Mikolov, M. Karafiát, L. Burget, and J. Cernocký, "Recurrent Neural Network Based Language Model," Eleventh Annual Conference of the International Speech Communication Association, 2010.
Y. Wang, M. Huang, X. Zhu, and L. Zhao, "Attention-based LSTM for Aspect-level Sentiment Classification," Proc. of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, pp. 606-615, 2016.
T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Efficient Estimation of Word Representations in Vector Space," Proc. of the International Conference on Learning Representations, ICLR 2013, 2013.
P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov, "Enriching Word Vectors with Subword Information," Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.
T. Mikolov, M. Karafiát, L. Burget, and J. Cernocký, "Recurrent Neural Network Based Language Model," Eleventh Annual Conference of the International Speech Communication Association, 2010.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
분류 정확도 향상을 위한 선택적 마스킹 기반 추가 사전 학습 기법
한국지능정보시스템학회 학술대회논문집
2021 .06
-
BERT 모델의 감성 분류 정확도 향상을 위한 감성 단어 마스킹 방안
Proceedings of KIIT Conference
2021 .06
-
Deep Learning-based Target Masking Scheme for Understanding Meaning of Newly Coined Words
한국컴퓨터정보학회논문지
2021 .10
-
신조어의 의미 학습을 위한 딥러닝 기반 표적 마스킹 기법
한국컴퓨터정보학회 학술발표논문집
2021 .07
-
에세이 창의성 분류를 위한 저빈도 서브워드 마스킹 기반 BERT 모델
Proceedings of KIIT Conference
2022 .12
-
속성 기반 감성 분석을 활용한 BERT 감성 분류 모델의 성능 개선
한국정보과학회 학술발표논문집
2022 .12
-
업무 특화적인 언어 모델 사전학습을 위한 선택적 마스킹 기법
대한산업공학회 춘계공동학술대회 논문집
2021 .06
-
감성사전 정보가 결합된 특징통합벡터를 활용한 감성분석
한국지능시스템학회 논문지
2020 .12
-
저메모리 기반의 산술 마스킹에서 불 마스킹 변환 알고리즘
정보보호학회논문지
2016 .02
-
Combining Sentiment-Combined Model with Pre-Trained BERT Models for Sentiment Analysis
Journal of KIISE
2021 .07
-
감성 및 감정 단어 마스킹 기반 BERT와 GPT 파이프라인 방식을 통한 감정 문장 생성
한국정보기술학회논문지
2021 .09
-
Text classification에 특화 시킨 개선된 BERT 활용 방법론 제안
한국통신학회 학술대회논문집
2021 .02
-
Method for the Automatic Generation of Training Sets for Word Embedding Reflecting Sentiment Information
Journal of KIISE
2022 .01
-
한글 텍스트 감정 이진 분류 모델 생성을 위한 미세 조정과 전이학습에 관한 연구
한국산업정보학회논문지
2023 .10
-
LEA에 대한 마스킹 기반 부채널분석 대응기법에 관한 분석
정보보호학회논문지
2016 .12
-
좌충우돌 감성분석 BERT 미세조정 분석
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
불용어의 BERT 기반 문장 자동분류기에 대한 영향
한국정보과학회 학술발표논문집
2021 .12
-
개인정보 보호를 위한 위치정보 마스킹 시스템
한국통신학회 학술대회논문집
2024 .06
-
EDA 기법을 적용한 BERT 기반의 감성 분류 모델 생성
한국컴퓨터정보학회 학술발표논문집
2022 .07
-
국내 주요 10대 기업에 대한 국민 감성 분석 : 다범주 감성사전을 활용한 빅 데이터 접근법
지능정보연구
2016 .09
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0