지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2023.6
- 수록면
- 89 - 100 (12page)
- DOI
- 10.14372/IEMEK.2023.18.3.89
이용수
초록· 키워드
오류제보하기
Recently, on-device artificial intelligence (AI) solutions using mobile devices and embedded edge devices have emerged in various fields, such as computer vision, to address network traffic burdens, low-energy operations, and security problems. Although vision transformer deep learning models have outperformed conventional convolutional neural network (CNN) models in computer vision, they require more computations and parameters than CNN models. Thus, they are not directly applicable to embedded edge devices with limited hardware resources. Many researchers have proposed various model compression methods or lightweight architectures for vision transformers; however, there are only a few studies evaluating the effects of model compression techniques of vision transformers on performance. Regarding this problem, this paper presents a performance evaluation of vision transformers on embedded platforms. We investigated the behaviors of three vision transformers: DeiT, LeViT, and MobileViT. Each model performance was evaluated by accuracy and inference time on edge devices using the ImageNet dataset. We assessed the effects of the quantization method applied to the models on latency enhancement and accuracy degradation by profiling the proportion of response time occupied by major operations. In addition, we evaluated the performance of each model on GPU and EdgeTPU-based edge devices. In our experimental results, LeViT showed the best performance in CPU-based edge devices, and DeiT-small showed the highest performance improvement in GPU-based edge devices. In addition, only MobileViT models showed performance improvement on EdgeTPU. Summarizing the analysis results through profiling, the degree of performance improvement of each vision transformer model was highly dependent on the proportion of parts that could be optimized in the target edge device. In summary, to apply vision transformers to on-device AI solutions, either proper operation composition and optimizations specific to target edge devices must be considered.
목차
등록된 정보가 없습니다.
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Reparameterization을 활용한 하드웨어 친화적인 Hybrid Vision Transformer 모델 구현
대한전자공학회 학술대회
2024 .06
-
변압기의 파라미터 추출과 전기적 모델링 방법에 관한 연구
조명·전기설비학회논문지
2017 .05
-
Vision Transformer 를 활용한 안전신문고 이미지 분류에 관한 연구
대한전자공학회 학술대회
2021 .11
-
Transformer 모델을 통한 모바일 트래픽 분류
한국통신학회 학술대회논문집
2023 .06
-
변압기 효율 적정화를 위한 변압기 부하율 조사 및 추정
조명·전기설비학회논문지
2016 .01
-
From the Solid-State-Transformer (SST) to the Smart Transformer
ICPE(ISPE)논문집
2019 .05
-
Solid State Transformer의 Averaged Model 개발 및 검증
대한전기학회 학술대회 논문집
2022 .07
-
MobileViT와 전이학습을 활용한 사람 자세 추정 알고리즘의 경량화
한국컴퓨터정보학회논문지
2023 .09
-
Decision Transformer를 활용한 멀티 태스크 강화학습에서의 트랜스포머 아키텍처 비교 분석
한국통신학회 학술대회논문집
2025 .02
-
저압계통 연계력을 고려한 지상변압기 용량증가에 따른 이용률 분석에 관한 연구
전기학회논문지 P
2021 .09
-
Hybrid-Vision Transformer의 정수 양자화 성능 분석
대한전자공학회 학술대회
2023 .06
-
ImageNet Dataset 벤치마크에서 Transformer 기반 모델들의 비교와 분석
대한전자공학회 학술대회
2022 .06
-
사람 자세 추정을 위한 CNN-Vision Transformer 기반 결합 모델
한국정보과학회 학술발표논문집
2022 .12
-
Transformer 기반 한국어 음성인식 모델
한국통신학회 학술대회논문집
2020 .02
-
비전 트랜스포머를 활용한 이미지 분류 시스템 설계
한국정보통신학회 여성 ICT 학술대회 논문집
2021 .08
-
열화상 영상을 활용한 CNN-Transformer 네트워크의 공장 설비 이상 진단 방법
전자공학회논문지
2023 .03
-
객체 탐지 과업에서의 트랜스포머 기반 모델의 특장점 분석 연구
대한임베디드공학회논문지
2022 .12
-
Improving Vision Transformer with Multi-Task Training
제어로봇시스템학회 국제학술대회 논문집
2022 .11
-
상태 예측을 통해 확장된 Decision Transformer 에 관한 연구
한국통신학회 학술대회논문집
2024 .11
-
한국어-영어 기계 번역에 대한 Transformer 모델 경량화의 영향 분석
대한전자공학회 학술대회
2024 .06
이 논문의 저자 정보
최근 본 자료
댓글(0)
0