지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2023.3
- 수록면
- 472 - 477 (6page)
- DOI
- 10.9717/kmms.2023.26.3.472
이용수
초록· 키워드
오류제보하기
Self-attention is a permutation-equivariant operation by definition, and incorporating group-invariant positional encoding allows it to achieve equivariance for larger symmetry groups. We propose efficient group-equivariant transformers that eliminate the cubic complexity caused by group-invariant positional encoding. Instead of using explicit positional encoding, we replace linear projections with group-equivariant convolutional projections, which serve as both a group mixer and an implicit positional encoding. This allows for reducing the group of self-attention to the translation group while maintaining group equivariance, resulting in less computation and memory. A group-equivariant convolutional stem improves performance much more. The proposed method outperforms the existing group-equivariant transformer and CNNs on the rotated MNIST dataset, a standard dataset for evaluating group-equivariant networks.
목차
ABSTRACT
1. 서론
2. 관련 연구
3. 제안한 방법
4. 실험
5. 결론
REFERENCE
참고문헌 (11)
참고문헌 신청
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, et al., “Attention is All You Need,” Advances in Neural Information Processing Systems, Vol. 30, 2017.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-Training of Deep Bidirectional Transformers for Language Understanding,” North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2018.
A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, et al., “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale,” International Conference on Learning Representations, 2020.
D.W. Romero and J.-B. Cordonnier, “Group Equivariant Stand-alone Self-attention for Vision,” International Conference on Learning Representations, 2020.
P. Ramachandran, N. Parmar, A. Vaswani, I. Bello, A. Levskaya, and J. Shlens, “Stand-alone Self-attention in Vision Models,” Advances in Neural Information Processing Systems, Vol. 32, 2019.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-Training of Deep Bidirectional Transformers for Language Understanding,” North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2018.
A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, et al., “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale,” International Conference on Learning Representations, 2020.
D.W. Romero and J.-B. Cordonnier, “Group Equivariant Stand-alone Self-attention for Vision,” International Conference on Learning Representations, 2020.
P. Ramachandran, N. Parmar, A. Vaswani, I. Bello, A. Levskaya, and J. Shlens, “Stand-alone Self-attention in Vision Models,” Advances in Neural Information Processing Systems, Vol. 32, 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
군-등변 CNN의 성능 분석
멀티미디어학회논문지
2023 .01
-
회전 변환에 강인한 위성영상 객체 검출기
대한전자공학회 학술대회
2021 .06
-
Human Activity Recognition using Sensor Series Transformer with High-frequency Positional Encoding
한국정보과학회 학술발표논문집
2023 .06
-
Positional encoding 기반 Focus Attention 모듈을 활용한 미세 수수 이미지 분류 모델
한국정보과학회 학술발표논문집
2022 .12
-
Transformer 기반 인물 재식별을 위한 상대적 위치 임베딩 활용방법
한국통신학회논문지
2023 .09
-
High-Speed Transformer for Panoptic Segmentation
방송공학회논문지
2022 .12
-
Smart modeling for the transfer function of structural excitation in a hexahedron confined domain based on the convolutional neural network
한국가시화정보학회 학술발표대회 논문집
2023 .11
-
Probabilistic Target Encoding of Neural Networks with Softmax Output Nodes
International JOURNAL OF CONTENTS
2022 .12
-
비전 트랜스포머를 활용한 이미지 분류 시스템 설계
한국정보통신학회 여성 ICT 학술대회 논문집
2021 .08
-
초고해상도 비디오 저지연 부호화를 위한 HEVC 분산 부호화 시스템 설계 및 구현
대한전자공학회 학술대회
2016 .06
-
시계열 데이터를 이미지로 encoding 하여 CNN 을 통한 태양 조도 예측
한국통신학회 학술대회논문집
2019 .01
-
지도 attention 을 이용한 한국어 Transformer 음성 합성에 관한 연구
한국통신학회 학술대회논문집
2020 .08
-
Random Swin Transformer
제어로봇시스템학회 국제학술대회 논문집
2022 .11
-
Decision Transformer를 활용한 멀티 태스크 강화학습에서의 트랜스포머 아키텍처 비교 분석
한국통신학회 학술대회논문집
2025 .02
-
Positional Encoding 기법을 활용한 유동 속도 예측 물리 인공 신경망 구현
대한전자공학회 학술대회
2023 .06
-
변압기 효율 적정화를 위한 변압기 부하율 조사 및 추정
조명·전기설비학회논문지
2016 .01
-
CNN 기반 대용량 시계열 데이터 압축 기법연구
대한임베디드공학회논문지
2023 .02
-
Temporal Convolutional Network 와 Transformer 를 이용한 심전도 신호의 결측값 보간
한국정보과학회 학술발표논문집
2024 .12
-
From the Solid-State-Transformer (SST) to the Smart Transformer
ICPE(ISPE)논문집
2019 .05
-
Convolutional Neural Network를 응용한 단일 이미지 인코딩
한국정보과학회 학술발표논문집
2017 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2023-004-001329813