지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제27권 제4호
- 발행연도
- 2021.4
- 수록면
- 210 - 215 (6page)
- DOI
- 10.5626/KTCP.2021.27.4.210
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
제목은 문서를 대표하는 어구 혹은 문장이라 정의할 수 있다. 우리는 문서의 제목을 생성하기 위해 트랜스포머 기반 인코더-디코더 구조를 제안한다. 대용량 문서를 이용하여 트랜스포머 인코더-디코더 구조의 사전학습(pre-training)을 진행하고 본문과 제목 쌍으로 이루어진 문서를 이용하여 미세조정(fine-tuning)을 진행하였다. 또한 제목 생성 태스크로 범위가 제한되는 미세조정 과정에서 입력 문서에 나타나는 어절의 생성 비율을 증가시키기 위해 단어 손실함수를 추가하고 토큰이 반복적으로 생성되는 문제를 개선하기 위한 반복 패널티를 모델 추가하는 방법을 제안한다. 25,564개의 논문 데이터를 사용한 실험에서 단어 손실함수와 반복 패널티를 개별적으로 적용시킨 모델의 성능이 기존 모델에 비해 개선되고, 두 제안 방법을 모두 적용한 모델에서는 Rouge-L의 성능이 2.7% 향상되는 것을 확인하였다.
목차
요약
Abstract
1. 서론
2. 제안 방법
3. 실험 및 성능
4. 결론
References
참고문헌 (21)
참고문헌 신청
K. Han and Y. Ann, "Automatic labeling of Korean document clusters created by LDA," Proc. of the KIISE Korea Computer Congress 2013, pp. 616-618, 2013. (in Korean)
T. Kim and S. Hyaeng, "Automatic Naming of Document Clusters by Using their Hierarchical Structure," Proc. of the 13th Annual Conference on Human and Cognitive Language Structure, pp. 163-170, 2001. (in Korean)
H. Yu, S. Lee, and Y. Ko, "Summarization Based Multi-news Title Extraction Using Term Relevance Estimation and Byte Pair Encoding," Proc. of the 30th Annual Conference on Human and Cognitive Language Structure, pp. 115-119, 2018.
R. Sun, Y. Zhang, M. Zhang, and D. Ji, "Event-Driven Headline Generation," Proc. of the 53rd Annual Meeting of the ACL and the 7th IJCNLP, pp. 462-472, 2015.
W. Zaremba, I. Sutskever, and O. Vinyals, "Recurrent neural network regularization," arXiv preprint arXiv:1409.2329, 2014.
T. Kim and S. Hyaeng, "Automatic Naming of Document Clusters by Using their Hierarchical Structure," Proc. of the 13th Annual Conference on Human and Cognitive Language Structure, pp. 163-170, 2001. (in Korean)
H. Yu, S. Lee, and Y. Ko, "Summarization Based Multi-news Title Extraction Using Term Relevance Estimation and Byte Pair Encoding," Proc. of the 30th Annual Conference on Human and Cognitive Language Structure, pp. 115-119, 2018.
R. Sun, Y. Zhang, M. Zhang, and D. Ji, "Event-Driven Headline Generation," Proc. of the 53rd Annual Meeting of the ACL and the 7th IJCNLP, pp. 462-472, 2015.
W. Zaremba, I. Sutskever, and O. Vinyals, "Recurrent neural network regularization," arXiv preprint arXiv:1409.2329, 2014.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
단어 손실함수를 추가한 트랜스포머 인코더-디코더 기반의 제목 생성 모델
한국정보과학회 학술발표논문집
2020 .07
-
Title Generation Model for which Sequence-to-Sequence RNNs with Attention and Copying Mechanisms are used
Journal of KIISE
2017 .07
-
다중 인코더 Transformer 기반 번역문 자동 사후 교정 모델의 디코더 구조 연구
한국정보과학회 학술발표논문집
2019 .06
-
Solving for Redundant Repetition Problem of Generating Summarization using Decoding History
Journal of KIISE
2019 .06
-
Transformer의 개별 가지치기를 이용한 효율적인 이미지 캡셔닝 기법
방송공학회논문지
2024 .09
-
문서의 제목 추출 고도화를 위한 복합기법의 제안
Proceedings of KIIT Conference
2023 .06
-
인코더-디코더 모델을 이용한 3축 가공 형상의 설계이력 재구성
대한기계학회 춘추학술대회
2022 .05
-
다중 스케일 특징 맵을 사용한 인코더-디코더 네트워크 기반 대비 개선
전자공학회논문지
2020 .05
-
그래프 합성곱 신경망 인코더와 계층 구조 디코더를 이용한 키워드 생성
한국정보과학회 학술발표논문집
2020 .12
-
인코더-디코더 모델에서 잠재 벡터의 분류 성능 분석
한국차세대컴퓨팅학회 논문지
2023 .04
-
자동 문서 분류를 위한 딥러닝 기반의 문서 제목 검출 기법
전자공학회논문지
2018 .09
-
인코더 디코더 구조 검색기를 활용한 생성형 검색 증강 언어모델
한국정보과학회 학술발표논문집
2023 .06
-
한국어를 위한 검색 증강형 토큰-프리 인코더-디코더 언어모델에 대한 종합 연구
한국정보과학회 학술발표논문집
2024 .06
-
RNN 인코더-디코더 모델에서 한국어 표현 방식에 따른 디코딩 성능 비교
한국정보과학회 학술발표논문집
2016 .12
-
Performance Analysis of Korean Morphological Analyzer based on Transformer and BERT
Journal of KIISE
2020 .08
-
LSTM 기반 Sequence-to-Sequence을 활용한 한국어 제목 생성
Proceedings of KIIT Conference
2020 .10
-
제로샷을 이용한 언어 교차 제목 생성 모델
한국정보과학회 학술발표논문집
2022 .06
-
CT 이미지 내 안와 조직 분할을 위한 인코더-디코더 모델 성능 비교
대한전자공학회 학술대회
2023 .06
-
Analyzing the Impact of Sequential Context Learning on the Transformer Based Korean Text Summarization Model
Journal of KIISE
2021 .10
-
인코더-디코더 구조의 CNN을 이용한 위성 영상에서의 변화탐지
한국방송미디어공학회 학술발표대회 논문집
2020 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0