지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제29권 제11호
- 발행연도
- 2023.11
- 수록면
- 501 - 508 (8page)
- DOI
- 10.5626/KTCP.2023.29.11.501
이용수
초록· 키워드
오류제보하기
기존 Vision-Language 모델 연구에서는 이미지-텍스트 데이터를 각각의 인코더를 두어 독립적으로 학습하는 연구들이 많이 제안되었다. 이러한 모델들은 각 modality를 서로 다른 인코더에서 개별적으로 처리하기 때문에, 이미지 임베딩과 텍스트 임베딩 사이의 연관성이 없고 서로 다른 임베딩 벡터 공간을 가진다는 heterogeneity gap의 문제점이 있다. 이러한 문제점을 해결하기 위한 방법으로 본 논문에서는 기존의 Transformer 기반의 사전학습 모델에 Variational 오토인코더와 대조 학습을 추가로 구조한 모델을 제안한다. 제안 방법론들을 통해 이미지 임베딩과 텍스트 임베딩이 유사한 벡터를 가지도록 모델을 학습하였다. 모델의 학습과 평가는 MSCOCO 캡셔닝 데이터셋을 사용하였고 BLEU, ROUGE-1, ROUGE-L, METEOR를 이용하여 성능을 평가하였다. 본 논문에서 제안하는 Variational 오토인코더와 대조 학습을 차용한 Transformer-VAE-CL 모델이 기존의 Transformer 기반 모델보다 BLEU가 12.1, ROUGE-1이 46.1, ROUGE-L이 44.7, METEOR가 39.9로 더 높은 성능을 보임을 확인하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. Transformer-VAE-CL
4. 실험
5. 결론
References
참고문헌 (15)
참고문헌 신청
Radford, Alec, et al., "Learning transferable visual models from natural language supervision," International Conference on Machine Learning. PMLR, pp. 8748-8763, 2021.
Jia, Chao, et al., "Scaling up visual and visionlanguage representation learning with noisy text supervision," International Conference on Machine Learning. PMLR, pp. 4904-4916, 2021.
Kingma, Diederik P., and Max Welling, "Auto-encoding variational bayes," arXiv preprint arXiv:1312.6114, 2013.
Li, Chenliang, et al., "mplug: Effective and efficient vision-language learning by cross-modal skipconnections," arXiv preprint arXiv:2205.12005, 2022.
Chen, Yen-Chun, et al., "UNITER: UNiversal Image-Text Representation Learning," European Conference on Computer Vision, pp. 104-120, 2020.
Jia, Chao, et al., "Scaling up visual and visionlanguage representation learning with noisy text supervision," International Conference on Machine Learning. PMLR, pp. 4904-4916, 2021.
Kingma, Diederik P., and Max Welling, "Auto-encoding variational bayes," arXiv preprint arXiv:1312.6114, 2013.
Li, Chenliang, et al., "mplug: Effective and efficient vision-language learning by cross-modal skipconnections," arXiv preprint arXiv:2205.12005, 2022.
Chen, Yen-Chun, et al., "UNITER: UNiversal Image-Text Representation Learning," European Conference on Computer Vision, pp. 104-120, 2020.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
협업필터링을 위한 Variational 오토인코더의 연합학습 방법
한국정보과학회 학술발표논문집
2019 .12
-
변분 오토인코더를 이용한 원전 과도상태 상태감시 방법
대한기계학회 춘추학술대회
2024 .06
-
온라인 행동 로그를 활용한 Variational Autoencoders 기반의 추천 모델 개발
한국정보과학회 학술발표논문집
2020 .12
-
Economic Data Augmentation with Variational Autoencoder
한국정보과학회 학술발표논문집
2020 .07
-
Rethinking ROUGE Scores for Video Game Review Summarization
한국정보기술학회논문지
2022 .03
-
ICT 인프라 이상탐지를 위한 조건부 멀티모달 오토인코더에 관한 연구
한국지능정보시스템학회 학술대회논문집
2021 .06
-
Variational Autoencoder기반 교량 손상 위치 추정의 개념적 방법
대한토목학회 학술대회
2019 .10
-
콘텐츠 인기도 예측을 위한 연합학습 기반 개인화된 Variational Autoencoder
한국통신학회 학술대회논문집
2024 .11
-
Variational AutoEncoder 기반의 데이터 트랜드 분석을 사용한 센서 고장 탐지 및 예측 기법
대한전자공학회 학술대회
2022 .06
-
신약개발을 위한 Transformer기반의 딥러닝 모델
한국정보과학회 학술발표논문집
2021 .12
-
사전학습 언어모델을 이용한 한국어 단일 문서 요약에 대한 연구
한국정보과학회 학술발표논문집
2021 .06
-
Variational autoencoder를 이용한 화력발전소 주요 기기 이상 진단
한국소음진동공학회 학술대회논문집
2020 .11
-
변분 평활법과 오토인코더를 이용한 반도체 설비 이상탐지
대한산업공학회 춘계공동학술대회 논문집
2021 .06
-
터보 오토인코더의 성능 분석
한국통신학회 학술대회논문집
2021 .06
-
Variational-Auto-Encoder for tooth image generation
한국통신학회 학술대회논문집
2021 .06
-
ICT 인프라 이상탐지를 위한 조건부 멀티모달 오토인코더에 관한 연구
지능정보연구
2021 .09
-
Automated quality verification in additively manufactured parts with Fused Deposition Modeling (FDM) using variational autoencoder
대한기계학회 춘추학술대회
2022 .11
-
Transformer의 개별 가지치기를 이용한 효율적인 이미지 캡셔닝 기법
방송공학회논문지
2024 .09
-
데이터 기반 모델축소법을 이용한 효율적인 비선형 구조해석 개발
한국소음진동공학회논문집
2021 .12
-
기상관측정보를 고려한 오토인코더 기반 멀티모달 기상위성영상 임베딩 기법 연구
한국정보과학회 학술발표논문집
2022 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-088215949