지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제29권 제8호
- 발행연도
- 2023.8
- 수록면
- 378 - 383 (6page)
- DOI
- 10.5626/KTCP.2023.29.8.378
이용수
초록· 키워드
오류제보하기
컴퓨터 비전 분야에서 트랜스포머 모델을 사용하는 방안이 크게 대두되고 있다. 이미지를 뿐만 아니라 비디오 데이터에 대해서도 트랜스포머를 활용한 성능향상에 대해서 활발한 연구가 진행 중이다. ViViT[6]에서는 비디오의 시간적인 정보와 공간적인 정보를 두 종류의 트랜스포머로 학습하는 방안을 제안했다. 허나 처음 제안된 ViT를 포함하여 ViViT 및 또 다른 ViT 활용 모델들의 경우에도 학습된 CLS token 만을 사용하며 나머지 patch sequence는 고려하지 않는다. 본 연구에서는 self-attention을 통해 학습된 patch sequence의 정보를 활용하는 다양한 방안을 실험하였다. 이후 해당 방안들을 feature extraction network로 하여 비디오 캡셔닝 태스크를 수행하였다. 네가지 매트릭을 통해 성능평가를 진행하였고 캡셔닝 결과는 appearance feature 만을 사용했음에도 BLEU-4, METEOR, ROUGE-L 매트릭에서 SOTA 모델들과 근접한 결과를 보였다.
목차
요약
Abstract
1. 서론
2. 관련 연구 및 방안
3. 실험 및 결과
4. 결론
References
참고문헌 (15)
참고문헌 신청
A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, N. Houlsby, “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale,” In Proceedings the In
A. Arnab, M. Dehghani, G. Heigold, C. Sun, M. Lučić, C. Schmid, “ViViT: A Video Vision Transformer,” In Proceedings of IEEE International Conference on Computer Vision, pp. 6836-6846 October, 2021.
M. Dehghani, S. Gouws, O. Vinyals, J. Uszkoreit, Lukasz, K. Dosovitskiy, “Universal Transformers,” In Proceedings of the International Conference on Learning Representations, May, 2019.
Boxiao Pan et al., “Spatio-temporal graph for video captioning with knowledge distillation,” In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10867-10876, June, 2020.
Z. Zhang et al., “Object Relational Graph With Teacher-Recommended Learning for Video Captioning,” In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 13275-13285, June, 2020.
A. Arnab, M. Dehghani, G. Heigold, C. Sun, M. Lučić, C. Schmid, “ViViT: A Video Vision Transformer,” In Proceedings of IEEE International Conference on Computer Vision, pp. 6836-6846 October, 2021.
M. Dehghani, S. Gouws, O. Vinyals, J. Uszkoreit, Lukasz, K. Dosovitskiy, “Universal Transformers,” In Proceedings of the International Conference on Learning Representations, May, 2019.
Boxiao Pan et al., “Spatio-temporal graph for video captioning with knowledge distillation,” In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10867-10876, June, 2020.
Z. Zhang et al., “Object Relational Graph With Teacher-Recommended Learning for Video Captioning,” In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 13275-13285, June, 2020.
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0