지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
Combining Sentiment-Combined Model with Pre-Trained BERT Models for Sentiment Analysis
감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.48 No.7 KCI우수등재
- 발행연도
- 2021.7
- 수록면
- 815 - 824 (10page)
- DOI
- 10.5626/JOK.2021.48.7.815
이용수
Combining Sentiment-Combined Model with Pre-Trained BERT Models for Sentiment Analysis
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
대규모 코퍼스에 기반한 사전학습모델인 BERT 모델은 언어 모델링을 통해 텍스트 내의 다양한 언어 정보를 학습할 수 있다고 알려져 있다. 여기에는 별도의 언어 자질이 요구되지 않으나, 몇몇 연구에서 특정한 언어 지식을 추가 반영한 BERT 기반 모델이 해당 지식과 관련된 자연어처리 문제에서 더 높은 성능을 보고하였다. 본 연구에서는 감정 분석 성능을 높이기 위한 방법으로 한국어 감정 사전에 주석된 감정 극성과 강도 값을 이용해 감정 자질 임베딩을 구성하고 이를 보편적 목적의 BERT 모델과 결합하는 외적 결합과 지식 증류 방식을 제안한다. 감정 자질 모델은 작은 스케일의 BERT 모델을 적은 스텝 수로 학습하여 소요 시간과 비용을 줄이고자 했으며, 외적 결합된 모델들은 영화평 분류와 악플 탐지문제에서 사전학습모델의 단독 성능보다 향상된 결과를 보였다. 또한 본 연구는 기존의 BERT 모델 구조에 추가된 감정 자질이 언어 모델링 및 감정 분석의 성능을 개선시킨다는 것을 관찰하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 감정 자질을 이용한 모델 학습
4. 실험 및 결과
5. 지식 증류
6. 결론 및 향후 연구
References
참고문헌 (22)
참고문헌 신청
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "Bert: Pre-training of deep bidirectional tranformers for language understanding," Proc. of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171- 4186, 2018.
J. Pennington, R. Socher, and C. Manning, "Glove: Global vectors for word representation," Proc. of the 2014 conference on empirical methods in natural language processing (EMNLP), 2014.
J. Zhou, Z. Zhang, H. Zhao, and S. Zhang, "LIMITBERT: Linguistic informed multi-task bert," arXiv preprint arXiv:1910.14296, 2019.
Z. Zhang, X. Han, Z. Liu, X. Jiang, M. Sun, and Q. Liu, "ERNIE: Enhanced language representation with informative entities," arXiv preprint arXiv: 1905.07129, 2019.
L. Huang, C. Sun, X. Qiu, and X. Huang, "GlossBERT: BERT for word sense disambiguation with gloss knowledge," arXiv preprint arXiv:1908. 07245, 2019.
J. Pennington, R. Socher, and C. Manning, "Glove: Global vectors for word representation," Proc. of the 2014 conference on empirical methods in natural language processing (EMNLP), 2014.
J. Zhou, Z. Zhang, H. Zhao, and S. Zhang, "LIMITBERT: Linguistic informed multi-task bert," arXiv preprint arXiv:1910.14296, 2019.
Z. Zhang, X. Han, Z. Liu, X. Jiang, M. Sun, and Q. Liu, "ERNIE: Enhanced language representation with informative entities," arXiv preprint arXiv: 1905.07129, 2019.
L. Huang, C. Sun, X. Qiu, and X. Huang, "GlossBERT: BERT for word sense disambiguation with gloss knowledge," arXiv preprint arXiv:1908. 07245, 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합
한국정보과학회 학술발표논문집
2020 .12
-
BERT 기반 모델에서의 부정적 감정 식별을 위한 감성 대화 분석 기법에 관한 연구
한국통신학회 학술대회논문집
2025 .02
-
감정 분석을 위한 그래프 순위화 기반 강인한 한국어 BERT 모델
한국정보과학회 학술발표논문집
2020 .07
-
좌충우돌 감성분석 BERT 미세조정 분석
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
속성 기반 감성 분석을 활용한 BERT 감성 분류 모델의 성능 개선
한국정보과학회 학술발표논문집
2022 .12
-
BERT 모델을 이용한 경제 기사의 감성 분석 및 키워드 추출
Proceedings of KIIT Conference
2022 .12
-
BERT 기반 특징추출기를 이용한 감성 분석
한국콘크리트학회 학술대회 논문집
2019 .05
-
사전 학습된 BERT와 미세 조정된 BERT간의 어텐션 헤드 유사도 분석
한국정보과학회 학술발표논문집
2022 .12
-
도메인 특화 사전학습 언어모델 개발 전략: 자동차 분야 언어모델 V-BERT 개발 사례
정보과학회 컴퓨팅의 실제 논문지
2023 .05
-
BERT 언어 모델을 사용한 상담 매칭 시스템
한국정보과학회 학술발표논문집
2020 .07
-
BERT 기반 트윗 감정분석을 통한 영화 추천 시스템
Proceedings of KIIT Conference
2023 .11
-
BERT 파생 모델의 한국어에 대한 성능 비교
한국통신학회 학술대회논문집
2020 .02
-
추가학습 없는 BERT를 활용한 시스템 로그 이상치 탐지
대한산업공학회 춘계공동학술대회 논문집
2023 .05
-
데이터 증강을 활용한 BERT 언어모델 사전학습
대한산업공학회 추계학술대회 논문집
2020 .11
-
BERT 기반 한국어 개방형 정보 추출
한국정보과학회 학술발표논문집
2019 .06
-
BERT 및 계층 그래프 컨볼루션 신경망 기반 감성분석 모델
한국정보통신학회 종합학술대회 논문집
2022 .10
-
불용어의 BERT 기반 문장 자동분류기에 대한 영향
한국정보과학회 학술발표논문집
2021 .12
-
한국어 BERT를 활용한 VoC(Voice of Customer) 감성분석 기반 패션 상품 트렌드 분석 모델 연구
한국지능정보시스템학회 학술대회논문집
2021 .12
-
BERT의 언어 지식의 편향성으로 인한 텍스트 정보 추출 오류
한국정보과학회 학술발표논문집
2022 .06
-
BERT 계층에 따른 단어간 관계 변화 분석
한국정보과학회 학술발표논문집
2022 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
한국어 감정분석 코퍼스를 활용한 양상정보 기반의 감정분석 연구
신효필
,
김문형
,
박수지
언어학
2016
.04
좌충우돌 감성분석 BERT 미세조정 분석
박정원
,
모현수
,
김정민
한국컴퓨터정보학회 학술발표논문집
2021
.01
TTS Method 를 통한 가시화와 공유의 가치에 관한 고찰
Kang
,
Namgyu
,
Na
외 1명
한국디자인학회 학술발표대회 논문집
2013
.12
Contract Eligibility Verification Enhanced by Keyword and Contextual Embeddings
이상아
,
김석기
,
김은진
외 2명
Journal of KIISE
2022
.10
Argument Facet Detection in Online Debates Based on Attention Weights and Clustering with Combined Similarity Matrices
Sangah Lee
,
Hyopil Shin
언어
2021
.03
최근 본 자료
댓글(0)
0
첫번째 댓글을 남겨주세요.