지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.5
- 수록면
- 291 - 305 (15page)
- DOI
- 10.5909/JBE.2024.29.3.291
이용수
초록· 키워드
오류제보하기
최근 컴퓨터 비전 연구에서는 비전 트랜스포머가 백본 네트워크로써 높은 성능을 입증했지만, 높은 네트워크 복잡도로 인해 에지 장치로의 배포는 여전히 제한적이다. 본 논문에서는 에지 장치로의 적용을 용이하게 하기 위해, 적응적 채널 분할 방법을 통한 저복잡도 비전 트랜스포머 모델을 제안한다. 본 논문에서는 분할할 채널의 비율과 레이어의 민감도에 따라 제안 방법을 적응적으로 적용하여, 모델의 연산량 및 메모리 부담을 개선하면서도 정확도 손실율을 최소화한다. 본 논문의 5-겹 교차 검증의 실험 결과, 제안하는 저복잡도 비전 트랜스포머는 기존 비전 트랜스포머 모델 대비 FLOPs 약 24.9%, 파라미터 수 약 40.4%, 추론 속도 약 16.7%의 개선을 보였으며, 분류 정확도는 Top 1 Accuracy 기준 최대 1.18%p 향상되었다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 기존 연구
Ⅲ. 제안하는 방법
Ⅳ. 실험 결과
Ⅴ. 결론
참고문헌 (References)
참고문헌 (60)
참고문헌 신청
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin, “Attention is all you need,” Advances in neural information processing systems, vol. 30, 2017. doi: https://doi.org/10.48550/arXiv.1706.03762
A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, and S. Gelly, “An image is worth 16x16 words: Transformers for image recognition at scale,” arXiv preprint arXiv:2010.11929, 2020. doi: https://doi.org/10.48550/arXiv.2010.11929
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding,” Association for Computational Linguistics, vol. 1, June 2019. doi: https://doi.org/10.18653/v1/N19-1423
B. L. Edelman, S. Goel, S. Kakade, and C. Zhang, “Inductive Biases and Variable Creation in Self-Attention Mechanisms,” in Proceedings of the 39th International Conference on Machine Learning, Proceedings of Machine Learning Research, pp. 5793—5831, 2022.
S. Garg, D. Tsipras, P. S. Liang, and G. Valiant, “What can transformers learn in-context? a case study of simple function classes,” Advances in Neural Information Processing Systems, vol. 35, pp. 30583-30598, 2022.
A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, and S. Gelly, “An image is worth 16x16 words: Transformers for image recognition at scale,” arXiv preprint arXiv:2010.11929, 2020. doi: https://doi.org/10.48550/arXiv.2010.11929
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding,” Association for Computational Linguistics, vol. 1, June 2019. doi: https://doi.org/10.18653/v1/N19-1423
B. L. Edelman, S. Goel, S. Kakade, and C. Zhang, “Inductive Biases and Variable Creation in Self-Attention Mechanisms,” in Proceedings of the 39th International Conference on Machine Learning, Proceedings of Machine Learning Research, pp. 5793—5831, 2022.
S. Garg, D. Tsipras, P. S. Liang, and G. Valiant, “What can transformers learn in-context? a case study of simple function classes,” Advances in Neural Information Processing Systems, vol. 35, pp. 30583-30598, 2022.
이 논문과 함께 이용한 논문
DRACO 3D 메시 압축 기술 소개
변주형
,
심동규
방송과 미디어
2023
.07
공간 상관도를 갖는 MIMO 시스템에서의 CNN 기반 채널 추정 방법
김민성
,
김순호
,
노용재
외 2명
한국통신학회 학술대회논문집
2024
.11
분할 연산 기반 순환 신경망의 추론 성능 분석
최병준
,
윤상석
,
이세훈
외 1명
한국지능시스템학회 논문지
2023
.02
적응형 변조 및 코딩 기법을 적용한 고속 초협대역 디지털 무전기 설계
안홍선
,
이유성
,
이형열
외 1명
한국통신학회 학술대회논문집
2016
.01
해충 이미지 분류를 위한 멀티스케일 교차 주의집중 비전 트랜스포머
김가은
,
손창환
한국정보기술학회논문지
2023
.07
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-089810537