지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2023.12
- 수록면
- 1,473 - 1,479 (7page)
- DOI
- 10.6109/jkiice.2023.27.12.1473
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
사전학습 언어모델을 활용하면 다양한 자연어처리 태스크를 수행하기 수월해진다, 일반적으로 태스크별로 미세조정 과정을 통해 추가로 모델을 학습시켜 사용하게 되는데, 사전학습 언어모델 구조의 특성상 다수의 딥러닝 계층이 상호작용하면서 학습이 진행된다. 인접한 계층들은 순차적으로 언어를 분석하며 이해하고 태스크를 학습하여 수행한다. 이때 모델의 언어 능력의 향상을 위해 추가적인 지식 주입을 한다면, 태스크에 대한 모델의 성능 향상에 긍정적인 영향을 줄 수 있다.
본 논문에서는 기존 미세조정 방식에 대한 새로운 패러다임을 제안한다. 이전 연구에 따르면, 모델이 데이터를 학습할 시에 모델 내 상위 계층과 하위 계층이 다른 역할을 수행할 수 있음을 확인하였다. 이를 기반으로 하위 계층에 통사적인 지식을 주입한 후에, 주입된 지식을 바탕으로 의미론적인 태스크를 미세조정하는 모델 학습 방식을 제시한다. 본 연구에서는 제안 방법을 세 가지 사전학습 언어 모델인 KLUE-BERT, KLUE-RoBERTa, KoELECTRA 로의 적용을 통해, KLUE benchmark의 MRC, NLI, STS 세 가지 태스크에서 최대 1.2%p의 성능 향상을 확인할 수 있었다. 제시한 방법론은 미세조정 과정에 대해 한층 유연한 통찰을 줄 수 있으며, 주입된 정보를 더욱 효율적으로 다룰 수 있는 기법을 통해 추가적인 성능 향상을 기대할 수 있을 것이다.
본 논문에서는 기존 미세조정 방식에 대한 새로운 패러다임을 제안한다. 이전 연구에 따르면, 모델이 데이터를 학습할 시에 모델 내 상위 계층과 하위 계층이 다른 역할을 수행할 수 있음을 확인하였다. 이를 기반으로 하위 계층에 통사적인 지식을 주입한 후에, 주입된 지식을 바탕으로 의미론적인 태스크를 미세조정하는 모델 학습 방식을 제시한다. 본 연구에서는 제안 방법을 세 가지 사전학습 언어 모델인 KLUE-BERT, KLUE-RoBERTa, KoELECTRA 로의 적용을 통해, KLUE benchmark의 MRC, NLI, STS 세 가지 태스크에서 최대 1.2%p의 성능 향상을 확인할 수 있었다. 제시한 방법론은 미세조정 과정에 대해 한층 유연한 통찰을 줄 수 있으며, 주입된 정보를 더욱 효율적으로 다룰 수 있는 기법을 통해 추가적인 성능 향상을 기대할 수 있을 것이다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 실험
Ⅳ. 결론
Ⅴ. 한계
REFERENCES
참고문헌 (9)
참고문헌 신청
T. Mikolov, K. Chen, G. S. Corrado and J. Dean “Ef ficient Estimation of Word Representations in Vector Space,” in International Conference on Learning Rep resentations. Scottsdale: Arizona, pp. 1-12, 2013. DO I: 10.48550/arXiv.1301.3781.
A. Vaswani, N. M. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser and I. Polosukhin “Attention is All you Need,” Advances in Neural Information Processing Systems 30. Long Beach, CA, USA pp. 5998-6008, 2017.
J. Devlin, M. Chang, K. Lee, and K. Toutanova, “BE RT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” North American Chap ter of the Association for Computational Linguistics. Minneapolis, Minnesota, pp. 4171-4186, 2019. DOI:
A. Radford, and K.Narasimhan “Improving Language Understanding by Generative Pre-Training,” Technical report, OpenAI. 2018.
Q. Cao, H. Trivedi, A. Balasubramanian and N. Balasubramanian, “DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, pp. 4487–449
A. Vaswani, N. M. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser and I. Polosukhin “Attention is All you Need,” Advances in Neural Information Processing Systems 30. Long Beach, CA, USA pp. 5998-6008, 2017.
J. Devlin, M. Chang, K. Lee, and K. Toutanova, “BE RT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” North American Chap ter of the Association for Computational Linguistics. Minneapolis, Minnesota, pp. 4171-4186, 2019. DOI:
A. Radford, and K.Narasimhan “Improving Language Understanding by Generative Pre-Training,” Technical report, OpenAI. 2018.
Q. Cao, H. Trivedi, A. Balasubramanian and N. Balasubramanian, “DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, pp. 4487–449
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
지능정보연구
2022 .06
-
금융권에 적용 가능한 금융특화언어모델 구축방안에 관한 연구
한국산업정보학회논문지
2024 .06
-
Calibration of Pre-trained Language Model for the Korean Language
Journal of KIISE
2021 .04
-
목적 지향 대화 시스템을 위한 어댑터 기반 학습 방법
디지털콘텐츠학회논문지
2023 .06
-
Post-training을 이용한 한국어 전이학습 모델에서의 성능 향상
한국정보과학회 학술발표논문집
2021 .06
-
딥러닝 사전학습 언어모델 연구 동향
정보과학회지
2021 .04
-
지식 증류 기법 기반의 경량화 사전학습 한국어 언어 모델
한국통신학회 학술대회논문집
2022 .02
-
한국어 사전 학습 언어 모델(PLM)을 위한 고품질 데이터셋 구축 및 평가
한국정보과학회 학술발표논문집
2024 .12
-
분자 그래프 자기지도학습 심층분석: 공정 비교 및 한계
정보과학회 컴퓨팅의 실제 논문지
2024 .11
-
표상학습을 위한 언어모델 사전학습 효율성 향상
한국정보과학회 학술발표논문집
2020 .12
-
수학지식 자동 태깅을 위한 사전학습 언어모델
대한산업공학회 추계학술대회 논문집
2023 .11
-
사전학습 언어모델을 활용한 DNA 분류 태스크의 학습 언어 종류 영향 분석
한국정보과학회 학술발표논문집
2024 .06
-
도메인 특수성이 도메인 특화 사전학습 언어모델의 성능에 미치는 영향
한국지능정보시스템학회 학술대회논문집
2022 .11
-
도메인 특화 사전학습 언어모델 개발 전략: 자동차 분야 언어모델 V-BERT 개발 사례
정보과학회 컴퓨팅의 실제 논문지
2023 .05
-
텍스트 요약을 위한 어텐션 기반 BART 모델 미세조정
한국정보통신학회논문지
2022 .12
-
Structuralized External Knowledge and Multi-task Learning for Knowledge Selection
Journal of KIISE
2022 .10
-
문장의 중요단어 정보를 반영한 텍스트 분류 모델
한국정보과학회 학술발표논문집
2021 .12
-
사전학습된 이미지-언어 모델을 활용한 효율적인 비디오 시간적 연계성 학습
한국방송미디어공학회 학술발표대회 논문집
2024 .11
-
Self-Supervised Document Representation Method
한국컴퓨터정보학회논문지
2020 .05
-
한글 텍스트 감정 이진 분류 모델 생성을 위한 미세 조정과 전이학습에 관한 연구
한국산업정보학회논문지
2023 .10
이 논문의 저자 정보
최근 본 자료
댓글(0)
0