지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.10
- 수록면
- 903 - 909 (7page)
- DOI
- 10.5302/J.ICROS.2022.22.0108
이용수
초록· 키워드
오류제보하기
After Transformer and ViT, the use of attention in vision is increasing, and the performance has also surpassed the existing convolution layer. Attention uses a linear layer by default. Therefore, attention can be seen as an improvement of the linear layer. The direction of improvement of linear and convolution layers is similar when looking at the contents studied so far. The biggest difference between the two is the size of the receptive field. In this paper, various types of FlipConv blocks are presented. In particular, FlipConv block type4 shows similar performance to ConvNeXt block with a small parameter increase. And it shows that the performance of about 8% is good for the data in the form not used for learning.
목차
Abstract
I. 서론
II. 관련연구
III. 특징치 플립(Feature Flip)을 이용한 이미지 분류 모델
IV. 실험 결과
V. 결론
REFERENCES
참고문헌 (23)
참고문헌 신청
A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam, “Mobilenets: Efficient convolutional neural networks for mobile vision applications,” arXiv:1704.04861, 2017.
M. Tan and Q. Le, “Efficientnet: Rethinking model scaling for convolutional neural networks,” Proceedings of the 36th International Conference on Machine Learning, PMLR97, pp. 6105-6114, 2019.
Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, “Swin transformer: Hierarchical vision transformer using shifted windows,” Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 10012-10022, 2021.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pretraining of deep bidirectional transformers for language understanding,” arXiv:1810.04805, 2018.
T. Brown, B. Mann, N. Ryder, M. Subbiah, J.D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwan, S. Gray, B. Chess, J. Clark, C. Berner, S. MacCandlish, A. Radford, I. Sutskever, and D. Amodei, “Language models are few-shot learners,” Advances in Neural Information Processing Systems (NeurIPS 2020), pp. 1877-1901, 2020.
Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, “Swin transformer: Hierarchical vision transformer using shifted windows,” Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 10012-10022, 2021.
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pretraining of deep bidirectional transformers for language understanding,” arXiv:1810.04805, 2018.
T. Brown, B. Mann, N. Ryder, M. Subbiah, J.D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwan, S. Gray, B. Chess, J. Clark, C. Berner, S. MacCandlish, A. Radford, I. Sutskever, and D. Amodei, “Language models are few-shot learners,” Advances in Neural Information Processing Systems (NeurIPS 2020), pp. 1877-1901, 2020.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
다각형 용기의 품질 향상을 위한 딥러닝 구조 개발
전기전자학회논문지
2021 .09
-
New Approach to Optimize the Size of Convolution Mask in Convolutional Neural Networks
한국컴퓨터정보학회논문지
2016 .01
-
Optimum growth condition and electrical properties of CuGa0.5In0.5Se₂:Co(0.5 wt %) single crystal thin film for solar cell using hot wall epitaxy method
한국태양에너지학회 학술대회논문집
2017 .04
-
사람 행동 분류를 위한 주의지도 기반 3차원 컨볼루션
제어로봇시스템학회 국내학술대회 논문집
2020 .07
-
변형된 잔차블록을 적용한 CNN
멀티미디어학회논문지
2020 .07
-
FFT 적용을 통한 Convolution 연산속도 향상에 관한 연구
멀티미디어학회논문지
2021 .11
-
Hand Detector based on Efficient and Lighweight Convolutional Neural Network
제어로봇시스템학회 국제학술대회 논문집
2020 .10
-
Revisiting Deep Learning Model for Image Quality Assessment: Is Strided Convolution Better than Pooling?
한국방송미디어공학회 학술발표대회 논문집
2020 .11
-
Block Attention Module을 이용한 Receptive Field 확대 및 학습 속도 개선
한국정보과학회 학술발표논문집
2022 .12
-
HLS를 이용한 향상된 Convolution Layer Kernel 가속기 구현
대한전자공학회 학술대회
2022 .11
-
합성곱 신경망 연산을 위한 저전력 콘볼루션 레이어 하드웨어 설계
한국정보통신학회논문지
2024 .07
-
합성곱 신경망 처리기를 위한 커널 가중치 상수성을 활용한 연산 블록 합성
대한전자공학회 학술대회
2017 .11
-
Attention for Adaptive Convolution in Convolutional Neural Networks for Single Image Super-Resolution
방송공학회논문지
2023 .12
-
1D-CNN을 이용한 초분광 이미지 분류에서 Dilated Convolution의 영향 분석
대한전자공학회 학술대회
2021 .06
-
Convolution Layer에 따른 Generative Adversarial Network 성능 비교
대한전자공학회 학술대회
2019 .06
-
Mechanical Stability Improvement of Cell Sheet through Layer-by-layer Technique Application
한국고분자학회 학술대회 연구논문 초록집
2016 .10
-
Convolution Neural Network을 이용한 탭홀 비전검사 시스템
Proceedings of KIIT Conference
2021 .11
-
Human Action Recognition Based on 3D Convolutional Neural Network from Hybrid Feature
멀티미디어학회논문지
2019 .12
-
Layer-by-Layer 코팅법을 적용한 복합막 제조와 투과성능 평가
멤브레인
2015 .01
-
컨볼루션 신경망의 특징맵을 사용한 객체 추적
멀티미디어학회논문지
2017 .01
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0