지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.49 No.6
- 발행연도
- 2022.6
- 수록면
- 475 - 487 (13page)
- DOI
- 10.5626/JOK.2022.49.6.475
이용수
초록· 키워드
오류제보하기
본 논문에서는 거대 언어 모델 중 하나인 T5의 인코더-디코더 구조 대비 절반의 크기를 가지는 PrefixLM 구조의 한국어 모델을 학습하여 성능을 확인한다. PrefixLM 모델은 입력과 출력 시퀀스가 단일 시퀀스로 연결되어 트랜스포머 블록에 함께 입력된다. 이때 어텐션 내부 연산 시 사용되는 어텐션 마스크의 변형을 통해 단일 트랜스포머 블록에서 입력 시퀀스 부분은 양방향 어텐션, 출력 시퀀스 부분은 단방향 어텐션이 이루어지도록 조정된다. 이를 통해 인코더와 디코더 역할을 한 레이어에서 수행할 수 있게 된다. 소규모 데이터로 한국어 모델을 여러 방식으로 학습한다. 자연어 처리에서 중요한 태스크 중 하나인 텍스트 생성 요약 태스크에서 기반 모델, 위치 인코딩 방식 등에 따른 성능 차이를 확인한다. BART, T5와 비교하여 각각 2.17, 2.78점의 성능 향상을 보여 PrefixLM 구조가 한국어에서도 충분히 유효함을 보인다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. PrefixLM 구조
4. 실험
5. 결론
References
참고문헌 (27)
참고문헌 신청
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.
J. Devlin, M. Chang, K. Lee, and K. Toutanova, "BERT: pre-training of deep bidirectional transformers for language understanding," Proc. of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Vol. 1 (Long and Short Papers), pp. 4171-4186, 2019.
Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov, "Roberta: A robustly optimized BERT pretraining approach," CoRR, Vol. abs/1907.11692, 2019.
M. Joshi, D. Chen, Y. Liu, D. S. Weld, L. Zettlemoyer, and O. Levy, "Spanbert: Improving pre-training by representing and predicting spans," Trans. Assoc. Comput. Linguistics, Vol. 8, pp. 64-77, 2020.
A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever, "Improving language understanding by generative pre-training," OpenAI blog, 2018.
J. Devlin, M. Chang, K. Lee, and K. Toutanova, "BERT: pre-training of deep bidirectional transformers for language understanding," Proc. of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Vol. 1 (Long and Short Papers), pp. 4171-4186, 2019.
Y. Liu, M. Ott, N. Goyal, J. Du, M. Joshi, D. Chen, O. Levy, M. Lewis, L. Zettlemoyer, and V. Stoyanov, "Roberta: A robustly optimized BERT pretraining approach," CoRR, Vol. abs/1907.11692, 2019.
M. Joshi, D. Chen, Y. Liu, D. S. Weld, L. Zettlemoyer, and O. Levy, "Spanbert: Improving pre-training by representing and predicting spans," Trans. Assoc. Comput. Linguistics, Vol. 8, pp. 64-77, 2020.
A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever, "Improving language understanding by generative pre-training," OpenAI blog, 2018.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
점진적 Fully-Visible 어텐션에 기반한 PrefixLM 확장 및 텍스트 생성 응용
한국정보과학회 학술발표논문집
2021 .12
-
Analyzing the Impact of Sequential Context Learning on the Transformer Based Korean Text Summarization Model
Journal of KIISE
2021 .10
-
한국어 텍스트 문서의 자동 요약에 관한 연구
Proceedings of KIIT Conference
2022 .06
-
자가 어텐션 및 자가 학습 기법을 활용한 문서 요약
한국정보과학회 학술발표논문집
2018 .12
-
감정점수를 활용한 시퀀스-투-시퀀스 기반 텍스트 요약
한국정보과학회 학술발표논문집
2019 .06
-
사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약
한국컴퓨터정보학회 학술발표논문집
2021 .07
-
Korean Text Summarization using MASS with Relative Position Representation
Journal of KIISE
2020 .09
-
텍스트 요약을 위한 어텐션 기반 BART 모델 미세조정
한국정보통신학회논문지
2022 .12
-
한국어 자연어생성에 적합한 사전훈련 언어모델 특성 연구
한국지능정보시스템학회 학술대회논문집
2022 .11
-
Sequence-to-sequence 모델에 기반한 한국어 대화 요약
한국정보과학회 학술발표논문집
2022 .06
-
Query-based Abstractive Summarization Model Using Sentence Ranking Scores and Graph Techniques
Journal of KIISE
2020 .12
-
한국어 자연어생성에 적합한 사전훈련 언어모델 특성 연구
지능정보연구
2022 .12
-
시퀀스 투 시퀀스(Sequence-to-sequence) 모델을 활용한 대화생성 결과 비교 분석
한국정보과학회 학술발표논문집
2018 .06
-
Korean Text Summarization using MASS with Copying and Coverage Mechanism and Length Embedding
Journal of KIISE
2022 .01
-
Encoder-Decoder 및 LLM을 활용한 2단계 한국어 문서 요약
한국통신학회 인공지능 학술대회 논문집
2023 .09
-
Dual-Use Encoder-Decoder Model for License Plate Recognition
Journal of KIISE
2021 .01
-
Topic Centric Korean Text Summarization using Attribute Model
Journal of KIISE
2021 .06
-
긴 문서 요약을 위한 문장 분할 기반의 단계적 요약
대한전자공학회 학술대회
2024 .06
-
문맥 벡터 군집화를 통한 BART 모델의 생성 요약 향상 방안
Proceedings of KIIT Conference
2021 .11
-
사전학습 언어모델을 이용한 한국어 단일 문서 요약에 대한 연구
한국정보과학회 학술발표논문집
2021 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
조선왕조실록 텍스트 마이닝을 통한 왕별 행동 유형과 자연재해 간 상관관계 분석
김지우
,
박진영
한국정보과학회 학술발표논문집
2021
.12
Summary-to-Document를 이용한 텍스트 생성 요약
박은환
,
나승훈
,
신동욱
외 2명
한국정보과학회 학술발표논문집
2021
.12
초거대 언어 모델 요약문을 활용한 경량 요약 방법
안제준
,
박건우
한국정보과학회 학술발표논문집
2022
.12
사전 학습된 BERT 기반 모델을 이용한 구어체 텍스트 요약
남원경
,
이지수
,
장백철
한국컴퓨터정보학회논문지
2022
.08
BERT 문장 임베딩과 Co-Attention 메커니즘 결합에 기반한 알츠하이머병 치매와 조현병 진단
정민교
,
나승훈
,
김고운
외 2명
한국정보과학회 학술발표논문집
2022
.06
최근 본 자료
댓글(0)
0