지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.48 No.4
- 발행연도
- 2021.4
- 수록면
- 434 - 443 (10page)
- DOI
- 10.5626/JOK.2021.48.4.434
이용수
초록· 키워드
오류제보하기
심층 학습 모델의 발전은 컴퓨터 비전, 자연언어 이해 문제들에서 인간을 뛰어넘는 성능을 보이고 있다. 특히 트랜스포머 기반의 사전 학습 모델은 질의응답, 대화문과 같은 자연언어 이해 문제에서 최근 높은 성능을 보인다. 하지만 심층 학습 모델의 급격한 발전 양상에 비해, 이의 동작 방식은 상대적으로 잘 알려져 있지 않다. 심층 학습 모델을 해석하는 방법으로 모델의 예측 값과 실제 값이 얼마나 일치하는지를 측정하는 모델의 보정이 있다. 본 연구는 한국어 기반의 사전 학습된 심층 학습 모델의 해석을 위해 모델의 보정을 수행했다. 그리고 사전 학습된 한국어 언어 모델이 문장이 내포하는 애매성을 잘 파악하는지의 여부를 확인하고, 완화 기법들을 적용하여 문장의 애매성을 확신 수준을 통해 정량적으로 출력할 수 있도록 했다. 또한 한국어의 문법적 특징으로 인한 문장의 의미 변화를 모델 보정 관점에서 평가하여 한국어의 문법적 특징을 사전 학습된 언어 모델이 잘 이해하고 있는지를 정량적으로 확인했다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 방법론
4. 실험
5. 결론 및 향후 연구
References
참고문헌 (16)
참고문헌 신청
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," Proc. of the 31st NIPS, pp. 5998-6008, 2017.
C. Guo, G. Pleiss, Y. Sun, and K. Q. Weinberger, "On calibration of modern neural networks," Proc. of the 34th ICML, pp. 1321-1330, 2017.
D. Feng, L. Rosenbaum, C. Glaeser, F. Timm, and K. Dietmayer, "Can we trust you? on calibration of a probabilistic object detector for autonomous driving," Proc. of the 19th IROS, 2019.
J. J. Thiagarajan, P. Sattigeri, D. Rajan, and B. Venkatesh, "Calibrating healthcare ai: Towards reliable and interpretable deep predictive models," arXiv preprint, 2020.
K. Park, "presuppositions in the use of Korean auxiliary particles," Language and Linguistics, Vol. 26, pp. 119-135, 2001. (in Korean)
C. Guo, G. Pleiss, Y. Sun, and K. Q. Weinberger, "On calibration of modern neural networks," Proc. of the 34th ICML, pp. 1321-1330, 2017.
D. Feng, L. Rosenbaum, C. Glaeser, F. Timm, and K. Dietmayer, "Can we trust you? on calibration of a probabilistic object detector for autonomous driving," Proc. of the 19th IROS, 2019.
J. J. Thiagarajan, P. Sattigeri, D. Rajan, and B. Venkatesh, "Calibrating healthcare ai: Towards reliable and interpretable deep predictive models," arXiv preprint, 2020.
K. Park, "presuppositions in the use of Korean auxiliary particles," Language and Linguistics, Vol. 26, pp. 119-135, 2001. (in Korean)
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
한국어 언어 모델의 지속적 사전 학습 연구
한국정보과학회 학술발표논문집
2024 .12
-
딥러닝 사전학습 언어모델 연구 동향
정보과학회지
2021 .04
-
지식 증류 기법 기반의 경량화 사전학습 한국어 언어 모델
한국통신학회 학술대회논문집
2022 .02
-
사전 학습된 대규모 언어 모델을 이용한 주식 예측
한국정보과학회 학술발표논문집
2024 .06
-
사전 학습된 언어 모델 기반 통합 추천 모델의 문제점 분석
한국정보과학회 학술발표논문집
2022 .12
-
사전 학습 언어모델 기반 오픈 도메인에서의 한국어 대화 생성
한국정보과학회 학술발표논문집
2022 .06
-
사전학습 언어모델을 활용한 DNA 분류 태스크의 학습 언어 종류 영향 분석
한국정보과학회 학술발표논문집
2024 .06
-
심층학습 언어모델의 한국어 조사 이해능력 검증을 위한 정량적 평가방법론
한국정보과학회 학술발표논문집
2022 .12
-
표상학습을 위한 언어모델 사전학습 효율성 향상
한국정보과학회 학술발표논문집
2020 .12
-
사전 학습된 언어 모델 기반 자연어 처리 응용의 실용성 개선 연구
한국통신학회 학술대회논문집
2023 .06
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
지능정보연구
2022 .06
-
복잡한 공학 시스템 모델을 위한 모델 보정 기법 개선
대한기계학회 춘추학술대회
2018 .04
-
사전학습 언어모델을 이용한 한국어 단일 문서 요약에 대한 연구
한국정보과학회 학술발표논문집
2021 .06
-
거대 언어 모델을 위한 학습 시간 예측 연구 분석
한국통신학회 학술대회논문집
2025 .02
-
Plug-and-Play Language Model을 활용한 한국어 언어모델 독성 제어
정보과학회 컴퓨팅의 실제 논문지
2024 .06
-
도메인 특화 사전학습 언어모델 개발 전략: 자동차 분야 언어모델 V-BERT 개발 사례
정보과학회 컴퓨팅의 실제 논문지
2023 .05
-
분자 그래프 자기지도학습 심층분석: 공정 비교 및 한계
정보과학회 컴퓨팅의 실제 논문지
2024 .11
-
심층학습에 기반한 자연언어처리
정보과학회지
2015 .10
-
뇌모델
전자공학회지
2018 .11
-
빅데이터 기반 문장 유사도 측정 언어 모델
대한전자공학회 학술대회
2020 .08
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0