지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.49 No.3
- 발행연도
- 2022.3
- 수록면
- 214 - 220 (7page)
- DOI
- 10.5626/JOK.2022.49.3.214
이용수
초록· 키워드
오류제보하기
전이학습을 이용한 자연어처리는 대용량의 일반적인 데이터를 이용하여 사전학습된 모델을 downstream task에서 사용함으로써 성능이 향상되었다. 하지만 사전학습에서 사용되는 데이터는 적용 영역과 무관한 데이터이기에 적용 영역에 특화된 자질이 아닌 일반적인 자질을 학습하는 문제점이 있다. 따라서 본 논문에서는 사전 학습 모델의 임베딩이 downstream task에 특화된 자질들을 학습하도록 유도한다. 제안 방법으로는 샘플링된 data pair의 대조 학습과 더불어 label embedding과의 대조 학습을 통해 downstream task의 label정보를 학습하는 방법을 제안한다. 제안 방법의 성능입증을 위해 문장 분류 데이터셋에 대한 실험을 진행하고 임베딩에 대한 PCA(Principal component analysis)와 K-means clustering을 통하여 downstream task의 자질들이 학습되었는지 정성평가를 진행한다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 제안 방법
4. 실험
5. 결론
References
참고문헌 (16)
참고문헌 신청
Y. Ganin and V. Lempitsky, "Unsupervised domain adaptation by backpropagation," International Conference on Machine Learning, PMLR, pp. 1180-1189, 2015.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of deep bidirectional transformers for language understanding," ArXiv Preprint ArXiv:1810.04805, 2018.
K. Clark, M.-T. Luong, Q.V. Le, and C.D. Manning, "Electra: Pre-training text encoders as discriminators rather than generators," ArXiv Preprint ArXiv:2003.10555, 2020.
T. Joachims, "Text categorization with support vector machines: Learning with many relevant features," European Conference on Machine Learning, Springer, pp. 137-142, 1998.
M.E. Peters, M. Neumann, M. Iyyer, M. Gardner, C. Clark, K. Lee, and L. Zettlemoyer, "Deep contextualized word representations," ArXiv Preprint ArXiv:1802.05365, 2018.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of deep bidirectional transformers for language understanding," ArXiv Preprint ArXiv:1810.04805, 2018.
K. Clark, M.-T. Luong, Q.V. Le, and C.D. Manning, "Electra: Pre-training text encoders as discriminators rather than generators," ArXiv Preprint ArXiv:2003.10555, 2020.
T. Joachims, "Text categorization with support vector machines: Learning with many relevant features," European Conference on Machine Learning, Springer, pp. 137-142, 1998.
M.E. Peters, M. Neumann, M. Iyyer, M. Gardner, C. Clark, K. Lee, and L. Zettlemoyer, "Deep contextualized word representations," ArXiv Preprint ArXiv:1802.05365, 2018.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Post-training을 이용한 한국어 전이학습 모델에서의 성능 향상
한국정보과학회 학술발표논문집
2021 .06
-
분자 그래프 자기지도학습 심층분석: 공정 비교 및 한계
정보과학회 컴퓨팅의 실제 논문지
2024 .11
-
자연어처리를 위한 대조 학습 기반의 심층학습 모델에 대한 최근 연구 동향
Proceedings of KIIT Conference
2022 .12
-
A pre-training framework for learning feature representation in visual observation reinforcement learning
대한전자공학회 학술대회
2021 .06
-
The Era of Representation Learning without any Expensive Manual Labels via Contrastive Learning: A survey
대한전자공학회 학술대회
2021 .06
-
대조 학습 기반 사전 학습과 생성 모델의 시너지 탐구
한국통신학회 학술대회논문집
2021 .02
-
데이터 증강을 통한 기계학습 능력 개선 방법 연구
한국정보통신학회 종합학술대회 논문집
2021 .05
-
정교한 임베딩 표현을 위한 혼동률 기반 적응형 메트릭 학습
정보과학회 컴퓨팅의 실제 논문지
2022 .12
-
메타러닝 학습에서의 학습순서에 관한 연구
한국통신학회 학술대회논문집
2021 .06
-
되감기 연속학습 방법
대한전자공학회 학술대회
2020 .08
-
딥러닝 기반의 학습 성취 예측 모델
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
단어의 문맥 정보 확장을 위한 지식 임베딩 기법
한국정보기술학회논문지
2022 .11
-
Learning with Noisy Labels using Sample Selection based on Language-Image Pre-trained Model
Journal of KIISE
2023 .06
-
A Survey of Advantages of Self-Supervised Learning Models in Visual Recognition Tasks
Journal of KIISE
2024 .07
-
Multi-Source Tasks in Transfer Learning for Deep Reinforcement Learning: Application to Robotics Simulations
제어로봇시스템학회 국내학술대회 논문집
2023 .06
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
지능정보연구
2022 .06
-
Sentence model based subword embeddings for a dialog system
[ETRI] ETRI Journal
2022 .08
-
Multi-task Learning Approach Based on Pre-trained Language Models Using Temporal Relations
Journal of KIISE
2023 .01
-
전이학습을 수행한 신경망을 사용한 압축센싱 심장 자기공명영상
전기전자학회논문지
2019 .12
-
전이학습을 이용한 실내 온도 예측 시뮬레이션 모델 개발
대한건축학회 학술발표대회 논문집
2020 .10
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0