지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제29권 제11호
- 발행연도
- 2023.11
- 수록면
- 509 - 517 (9page)
- DOI
- 10.5626/KTCP.2023.29.11.509
이용수
초록· 키워드
오류제보하기
최근 ChatGPT와 같은 AI 기반 소프트웨어가 인기이다. 소프트웨어의 품질 보증을 위한 테스팅에 대한 관심도 높아지고 있다. 본 연구는 소프트웨어 테스팅을 위한 트랜스포머 기반 한국어 요약을 위해 메타모픽 관계를 이용한 테스트 케이스를 제안한다. 먼저, 국방일보를 활용한 테스트셋을 일정한 규칙을 이용하여 변형시킨 후 T5 모델에 입력하고, 그에 따른 출력 결과와 기존의 출력 결과가 메타모픽 관계를 만족하는지 확인하고, 문서요약 성능지표인 Rouge와 Rdass를 이용하여 모델의 성능을 평가한다. 실험결과 이름 혹은 명사를 변형하는 MR1과 해당 명사/동사를 동의어로 변형하는 MR5와 MR6이 82%로 메타모픽 관계를 만족하였고, T5 요약 성능은 기존 연구와 비교한 결과 타 모델에 비해 13% 향상되었다. 이후, 기존 연구에서 다루지 않았던 Rouge-u, Rouge-su, Rdass 지표를 활용하여, 한국어 요약을 평가하는 성능지표의 종류를 확장하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 테스트 케이스 생성
4. 실험 및 평가
5. 결론 및 향후연구
References
참고문헌 (12)
참고문헌 신청
Hosuon Yoo, Kunhui Lee, Seunghoon Na, “Sequence-to-sequence Models for Korean Dialogue Summarization”, Proc of the Korea Computer Congress 2022, pp. 350-352, 2022. (in Korean)
Dongsu Kang, "Bridging Fuzz Testing and Metamorphic Testing for Classification of Machine Learning," 40th IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, USA, pp. 1-2, 2022.
Byeongwoo Na, Dongsu Kang, “A Method for Generating Metamorphic Test Cases for CNN Image Classification Models”, KIISE Transactions on Computing Practives, Vol. 28, No. 1, pp. 33-41, 2022. (in Korean)
Lingzi Jin, Zuohua Ding, Huihui Zhou, “Evaluation of Chinese Natural Language Processing System Based on Metamorphic Testing”, MDPI(Multidisciplinary Digital Publishing Institute) Mathematics, 2022.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, “Attention is all you need”, Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.
Dongsu Kang, "Bridging Fuzz Testing and Metamorphic Testing for Classification of Machine Learning," 40th IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, USA, pp. 1-2, 2022.
Byeongwoo Na, Dongsu Kang, “A Method for Generating Metamorphic Test Cases for CNN Image Classification Models”, KIISE Transactions on Computing Practives, Vol. 28, No. 1, pp. 33-41, 2022. (in Korean)
Lingzi Jin, Zuohua Ding, Huihui Zhou, “Evaluation of Chinese Natural Language Processing System Based on Metamorphic Testing”, MDPI(Multidisciplinary Digital Publishing Institute) Mathematics, 2022.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, “Attention is all you need”, Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6000-6010, 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
퍼포먼스 메타모픽 테스팅을 위한 데이터 마이닝 기반 메타모픽 관계 검사 방법 제안
한국정보과학회 학술발표논문집
2018 .12
-
Rethinking ROUGE Scores for Video Game Review Summarization
한국정보기술학회논문지
2022 .03
-
CNN 이미지 분류 모델을 위한 메타모픽 테스트 케이스 생성 기법
정보과학회 컴퓨팅의 실제 논문지
2022 .01
-
End-to-end Korean Document Summarization using Copy Mechanism and Input-feeding
Journal of KIISE
2017 .05
-
Query-based Abstractive Summarization Model Using Sentence Ranking Scores and Graph Techniques
Journal of KIISE
2020 .12
-
Multi-Document Summarization Use Semantic Similarity and Information Quantity of Sentence
Journal of KIISE
2023 .07
-
Automatic Vietnamese Text Summarization with an Ensemble of Pre-trained Models
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2023 .01
-
BERT 기반의 사전 학습 언어 모형을 이용한 한국어 문서 추출 요약 베이스라인 설계
한국정보기술학회논문지
2022 .06
-
Copy Mechanism과 Input Feeding을 이용한 End-to-End 한국어 문서요약
한국어정보학회 학술대회
2016 .01
-
사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약
한국컴퓨터정보학회 학술발표논문집
2021 .07
-
Incremental Clustering and Multi-Document Summarization for Issue Analysis based on Real-time News
Journal of KIISE
2019 .04
-
완전성과 간결성을 고려한 텍스트 요약 품질의 자동 평가 기법
지능정보연구
2018 .06
-
한국어 텍스트 문서의 자동 요약에 관한 연구
Proceedings of KIIT Conference
2022 .06
-
트랜스포머기반의 멀티모달 영상자막 생성요약
대한산업공학회지
2021 .10
-
TextRank 알고리즘과 주의 집중 순환 신경망을 이용한 하이브리드 문서 요약
한국어정보학회 학술대회
2017 .01
-
사전학습 언어모델을 이용한 한국어 단일 문서 요약에 대한 연구
한국정보과학회 학술발표논문집
2021 .06
-
Summary-to-Document를 이용한 텍스트 생성 요약
한국정보과학회 학술발표논문집
2021 .12
-
Attention 알고리즘 기반 요약 콘텐츠 생성 방안 연구
디지털콘텐츠학회논문지
2021 .09
-
국가R&D과제정보 요약을 위한 한국어 정보요약 시스템
한국정보통신학회 종합학술대회 논문집
2022 .10
-
LLM 기반 환각 수준이 조절된 요약 생성을 통한 언어 모델의 품질 개선
정보과학회 컴퓨팅의 실제 논문지
2025 .02
이 논문의 저자 정보
이 논문과 함께 이용한 논문
CNN 이미지 분류 모델의 메타모픽 테스팅을 위한 복합 변형규칙 생성
김영완
,
강동수
정보과학회 컴퓨팅의 실제 논문지
2024
.02
오류 유형에 따른 생성요약 모델의 본문-요약문 간 요약 성능평가 비교
이승수
,
강상우
인지과학
2023
.09
리눅스 기반 운영체제 보안 취약점 분석
이인균
,
강동수
한국정보과학회 학술발표논문집
2022
.12
적대적 공격에 대한 강건성: 연구 동향, 문제점, 그리고 미래
이성윤
정보과학회지
2022
.11
딥러닝 적대적 예제와 퍼징기술 동향
박래현
,
김재욱
,
엄주언
외 1명
정보과학회지
2021
.08
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-088215958