지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2021.6
- 수록면
- 942 - 945 (4page)
이용수
초록· 키워드
오류제보하기
This paper presents a video classification model built using linear complexity transformers. This method utilizes attention mechanism both in spatial and temporal domain but using efficient Transformers (namely the Linformer and Longformer) to lower complexity from quadratic to linear in both domains. By leveraging low rankness of self-attention (Linformer) and patterns of local attention within fixed window and some global attention (Longformer), we can lower quadratic complexity of full self-attention (in both temporal and spatial domain) to linear complexity, which saves us memory usage and training/inference time drastically. Transformer based models have shown in a literature comparable results and superior speed to 3D Convolution based models (namely I3D and SlowFast).
Experiments show the comparable results on Kinetics-400 dataset. By comparing pros and cons of Longformer and Linformer on temporal /spatial domain, we conclude which model has best accuracy and/or inference speed.
Experiments show the comparable results on Kinetics-400 dataset. By comparing pros and cons of Longformer and Linformer on temporal /spatial domain, we conclude which model has best accuracy and/or inference speed.
목차
1. INTRODUCTION
2. Related Works
3. Linear Video Transformer Network
4. Experiments
3. Video Transformer with Longformer
4. CONCLUSION
References
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Longformer기반 긴 문서 모델을 이용한 알츠하이머병 치매와 조현병 진단
한국정보과학회 학술발표논문집
2022 .12
-
비전 트랜스포머의 연산 최적화를 위한 지수 이동 평균 기반 Linear Attention 기법
대한전자공학회 학술대회
2024 .11
-
A Brief Introduction to Recent Advances in Vision Transformers
한국통신학회 학술대회논문집
2022 .06
-
비전 트랜스포머를 위한 양자화 기법에 대한 연구 동향 조사
대한전자공학회 학술대회
2024 .11
-
객체 탐지 과업에서의 트랜스포머 기반 모델의 특장점 분석 연구
대한임베디드공학회논문지
2022 .12
-
Leveraging Vision Transformers for Large-Scale Suction Grasping
대한전자공학회 학술대회
2024 .06
-
한국어 에세이 점수 예측을 위한 BERT 기반 모델 성능 비교
Proceedings of KIIT Conference
2023 .11
-
Action 기반 Local attention mechanism을 이용한 linear time 한국어 형태소 분석
한국정보과학회 학술발표논문집
2017 .12
-
사람 행동 분류를 위한 주의지도 기반 3차원 컨볼루션
제어로봇시스템학회 국내학술대회 논문집
2020 .07
-
250 ㎃ 이하 출력전류를 갖는 전류변성기 특성평가 연구
전기학회논문지
2016 .12
-
Mamba 모델을 활용한 컴퓨터 비전 기술 동향
대한전자공학회 학술대회
2024 .11
-
Low-Complexity Sub-Pixel Motion Estimation Utilizing Shifting Matrix in Transform Domain
Journal of Electrical Engineering & Technology
2016 .07
-
Fire Detection via Effective Vision Transformers
한국차세대컴퓨팅학회 논문지
2021 .10
-
변압기의 기생 커패시터를 고려한 하이브리드 변압기의 소신호 모델링과 제어기 영향 분석
전력전자학회 학술대회 논문집
2023 .07
-
High-Speed Transformer for Panoptic Segmentation
방송공학회논문지
2022 .12
-
Spatial Cross-Attention for Transformer-based Image Captioning
한국통신학회 학술대회논문집
2023 .02
-
Temporal Fusion Transformers 방법을 사용한 사고 탐지
한국통신학회 학술대회논문집
2022 .02
-
Data-Driven Control of Solid-State Transformers
전력전자학회 학술대회 논문집
2024 .07
-
지도 attention 을 이용한 한국어 Transformer 음성 합성에 관한 연구
한국통신학회 학술대회논문집
2020 .08
-
ADD-Net : Attention Based 3D Dense Network for Action Recognition
한국컴퓨터정보학회논문지
2019 .06
이 논문의 저자 정보
최근 본 자료
댓글(0)
0