지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2023.12
- 수록면
- 1,074 - 1,079 (6page)
- DOI
- 10.5302/J.ICROS.2023.23.0127
이용수
초록· 키워드
오류제보하기
Network pruning is a widely used technique for reducing the memory and computational requirements of deep neural networks while minimizing performance degradation. Structured pruning, in particular, offers an effective approach without the need for additional hardware. However, many structured pruning methods require pre-trained large networks, increasing the overall training time. To address this challenge, this study proposes structured pruning using the early pruning indicator (EPI) to enable network compression from the initial training phase. Despite its effectiveness, this technique is sensitive to hyperparameter selection when applied to small datasets. This study analyzes hyperparameters for the application of EPI-based structured pruning to small datasets such as CIFAR10 and CIFAR100. By identifying optimal hyperparameters, the proposed method achieves performance scores of 92.19% and 69.27% on the CIFAR10 and CIFAR100 datasets, respectively, with a compression rate of 70% using the RestNet56 network.
목차
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. EPI와 하이퍼 파라미터
Ⅳ. 실험 결과 및 분석
Ⅴ. 결론
REFERENCES
참고문헌 (22)
참고문헌 신청
G. Park, H. Hong, H. Jeong, H. Kang, and M. Won, “Crane pose estimation using deep learning models and synthetic images," Journal of Institute of Control, Robotics and Systems (in Korean), vol. 27, no. 4, pp. 312-319, Apr. 2021.
H.-y. Kim, Y.-K. Song, and J.-S. Cho, “Fight action recognition method using AI deep learning," Journal of Institute of Control, Robotics and Systems (in Korean), vol. 27, no. 7, pp. 482-489, Jul. 2021.
H. Wu, P. Judd, X. Zhang, M. Isaev, and P. Micikevicius, “Integer quantization for deep learning inference: Principles and empirical evaluation," arXiv preprint arXiv:2004.09602, 2020.
G. Hinton, O. Vinyals, and J. Dean, “Distilling the knowledge in a neural network," arXiv preprint arXiv: 1503.02531, 2015.
Z. Barret and V. Quoc, “Neural architecture search with reinforcement learning," 5th International Conference on Learning Representations, Apr. 2017.
H.-y. Kim, Y.-K. Song, and J.-S. Cho, “Fight action recognition method using AI deep learning," Journal of Institute of Control, Robotics and Systems (in Korean), vol. 27, no. 7, pp. 482-489, Jul. 2021.
H. Wu, P. Judd, X. Zhang, M. Isaev, and P. Micikevicius, “Integer quantization for deep learning inference: Principles and empirical evaluation," arXiv preprint arXiv:2004.09602, 2020.
G. Hinton, O. Vinyals, and J. Dean, “Distilling the knowledge in a neural network," arXiv preprint arXiv: 1503.02531, 2015.
Z. Barret and V. Quoc, “Neural architecture search with reinforcement learning," 5th International Conference on Learning Representations, Apr. 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
A Study of Structured Pruning for Hybrid Neural Networks
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
CNN에서 비슷한 깊이의 레이어를 묶는 그룹 필터 프루닝 기법
대한전자공학회 학술대회
2021 .06
-
딥 뉴럴 네트웨크에서 Data Sparsity 향상 방법
대한전자공학회 학술대회
2018 .06
-
EPI 를 활용한 최적의 모델 압축 파라미터 분석
제어로봇시스템학회 국내학술대회 논문집
2023 .06
-
심층 신경망에서의 효율적이고 안정적인 Pruning 기법에 대한 연구
한국통신학회 학술대회논문집
2019 .06
-
Efficient Performance Prediction via Regression for Joint Channel and Weight Pruning
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
Node Pruning for Improved Neural Network Design
Proceedings of KIIT Conference
2018 .11
-
Structured pruning을 활용한 hardware spiking neural network 경량화
대한전자공학회 학술대회
2022 .06
-
Effective Methods of Neural Network Pruning in Processing-In-Memory Architecture
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
Pruning 기반 알고리즘 경량화 기법의 성능 최적화 연구 동향
대한전자공학회 학술대회
2024 .11
-
로봇 임베디드 시스템에서 리튬이온 배터리 잔량 추정을 위한 신경망 프루닝 최적화 기법
로봇학회 논문지
2023 .03
-
커널 프루닝을 위한 필터 프루닝 기반의 레이어 민감도 측정 기법
대한전자공학회 학술대회
2021 .06
-
Two-stage Detection with Yolov5 based on Structured Neural Network Pruning
한국재활복지공학회 학술대회 논문집
2021 .11
-
뉴럴 네트워크 채널 Pruning을 통한 Inference 성능 변화 분석 및 최적화
한국정보과학회 학술발표논문집
2020 .07
-
심층 신경망에서의 Accuracy 향상을 위한 Filter Pruning 기법에 대한 연구
대한전자공학회 학술대회
2020 .08
-
Edge-popup 알고리즘의 Pruning Edge 선정 방식 변경을 통한 Network Pruning의 성능 개선
한국정보과학회 학술발표논문집
2022 .06
-
불순도 기반 딥러닝 CNN 모델 최적 가지치기 레이어 검출 방법
대한전자공학회 학술대회
2022 .06
-
채널 중요도 기반 네트워크 프루닝 방법
대한전자공학회 학술대회
2021 .06
-
딥러닝 경량화를 위한 구조, 가지치기, 지식증류 비교
전기학회논문지
2021 .12
-
Semantic Segmentation 네트워크 구조와 Channel Pruning 간 상관관계를 고려한 네트워크 경량화 기법
대한전자공학회 학술대회
2023 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0