지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.49 No.7
- 발행연도
- 2022.7
- 수록면
- 514 - 520 (7page)
- DOI
- 10.5626/JOK.2022.49.7.514
이용수
초록· 키워드
오류제보하기
자연어 생성은 시스템의 계산 결과를 사람의 언어로 표현하는 작업을 의미한다. 이와 같은 자연어 생성 모델은 정량 평가만으로 생성된 문장의 품질을 대변할 수 없기 때문에 사람이 주관적인 기준에 따라 문장의 의미나 문법 점수를 매기는 정성 평가도 같이 사용하여 생성된 문장의 품질을 평가한다. 기존의 정성 평가는 주로 문법 적합도, 의미 적합도를 지표로 사용했으나, 평가자의 기준에 따라 큰 점수 편차가 발생하는 문제점이 존재했다. 따라서 본 논문에서는 구체적인 점수 기준을 제공해 줄 수 있는 문법정확도 평가(Grammar Accuracy Evaluation, GAE) 방법을 제안한다. 본 논문에서는 기계 번역 모델의 번역 품질을 BLEU와 GAE를 통해 분석하였다. 분석 결과 BLEU 지표로 측정된 점수가 모델의 절대적인 성능을 대변하지 않음을 확인하였으며, GAE 지표를 통해 동의어로 대체된 어휘 및 문장 구조의 변화를 오답으로 평가한 BLEU 지표의 단점이 보완됨을 확인하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 제안 모델
4. 실험
5. 결론
References
참고문헌 (9)
참고문헌 신청
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.
Tianyi Zhang, Varsha Kishore, Felix Wu., Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations. 2019.
Ayush Garg, Sammed S Kagi, Vivek Srivastava, and Mayank Singh. MIPE: A Metric Independent Pipeline for Effective Code-Mixed NLG Evaluation. In Proceedings of the 2nd Workshop on Evaluation and Comparison of NLP Systems, pp. 123-132. 2021.
Jacob Devlin, Chang, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 4171-4186. 2019.
Philipp Koehn, and Christof Monz. Manual and Automatic Evaluation of Machine Translation between European Languages. In Proceedings on the Workshop on Statistical Machine Translation, pp. 102-121. 2006.
Tianyi Zhang, Varsha Kishore, Felix Wu., Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations. 2019.
Ayush Garg, Sammed S Kagi, Vivek Srivastava, and Mayank Singh. MIPE: A Metric Independent Pipeline for Effective Code-Mixed NLG Evaluation. In Proceedings of the 2nd Workshop on Evaluation and Comparison of NLP Systems, pp. 123-132. 2021.
Jacob Devlin, Chang, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 4171-4186. 2019.
Philipp Koehn, and Christof Monz. Manual and Automatic Evaluation of Machine Translation between European Languages. In Proceedings on the Workshop on Statistical Machine Translation, pp. 102-121. 2006.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Sentence Generation from Knowledge Base Triples Using Attention Mechanism Encoder-decoder
Journal of KIISE
2019 .09
-
Weighted BLEU: 단어 가중치 기반 BLEU
한국정보과학회 학술발표논문집
2019 .06
-
목적지향 대화시스템에서 LSTM 언어모델 기반의 한국어 자연어 생성
한국차세대컴퓨팅학회 논문지
2020 .01
-
Image Caption Generation using Object Attention Mechanism
Journal of KIISE
2019 .04
-
한국어 데이터 셋을 이용한 이미지 캡션에 대한 연구
재활복지공학회논문지
2019 .11
-
A Study on Korean Language Honorific Translation using Transformers
한국정보기술학회논문지
2021 .12
-
Document-level Machine Translation Data Augmentation Using a Cluster Algorithm and NSP
Journal of KIISE
2023 .05
-
숫자 기호화를 통한 신경기계번역 성능 향상
디지털콘텐츠학회논문지
2018 .06
-
한베 통계기계번역의 성능 향상을 위한 내포문 추출 및 복원 기법
한국어정보학회 학술대회
2016 .01
-
SC-GRU encoder-decoder 모델을 이용한 자연어생성
한국어정보학회 학술대회
2017 .01
-
모의격납건물 열수력 해석을 위한 유입경계조건 설정 고찰: RCS-Containment 연계를 이용한 혼합경계조건
한국유체기계학회 학술대회 논문집
2021 .12
-
Neural Machine Translation with Word Embedding Transferred from Language Model
디지털콘텐츠학회논문지
2019 .11
-
Kor-Eng NMT using Symbolization of Proper Nouns
Journal of KIISE
2021 .10
-
인공지능 기반 맞춤형 문법 학습 지원 시스템
전자공학회논문지
2025 .01
-
회원작품 - 블랑블루
건축사
2016 .01
-
Korean-English Neural Machine Translation Using Korean Alphabet Characteristics and Honorific Expressions
Journal of KIISE
2022 .11
-
한-베 기계번역에서 한국어 분석기 (UTagger)의 영향
한국어정보학회 학술대회
2017 .01
-
학습 데이터 용량 및 반복 학습 횟수에 따른 이미지 기반 GPT 문장생성 및 성능 분석
한국컴퓨터정보학회 학술발표논문집
2023 .07
-
온라인 어학사전을 활용한 신조어 기계 번역의 정확도 향상 방법
Proceedings of KIIT Conference
2021 .06
-
블록체인 기반 자격증 관리 시스템의 정성적 평가 요소에 대한 통계 데이터 기반 성능 분석
한국정보기술학회논문지
2020 .09
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0