지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.11
- 수록면
- 778 - 789 (12page)
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
최근 다양한 분야에서 뛰어난 성능을 나타내는 Convolutional Neural Network(CNN)모델을 모바일 기기에서 사용하기 위한 다양한 연구가 진행되고 있다. 기존의 CNN 모델은 모바일 장비에서 사용하기에는 가중치의 크기가 크고 연산복잡도가 높다는 문제점이 있다. 이를 해결하기 위해 가중치의 표현 비트를 낮추는 가중치 양자화를 포함한 여러 경량화 방법들이 등장하였다. 많은 방법들이 다양한 모델에서 적은 정확도 손실과 높은 압축률을 나타냈지만, 대부분의 압축 모델들은 정확도 손실을 복구하기 위한 재학습 과정을 포함시켰다. 재학습 과정은 압축된 모델의 정확도 손실을 최소화하지만 많은 시간과 데이터를 필요로 하는 작업이다. Weight Quantization이후 각 층의 가중치는 정수형 행렬로 나타나는데 이는 이미지의 형태와 유사하다. 본 논문에서는 Weight Quantization이후 각 층의 정수 가중치 행렬을 이미지의 형태로 비디오 코덱을 사용하여 압축하는 방법을 제안한다. 제안하는 방법의 성능을 검증하기 위해 ImageNet과 Places365 데이터 셋으로 학습된 VGG16, Resnet50, Resnet18모델에 실험을 진행하였다. 그 결과 다양한 모델에서 2%이하의 정확도 손실과 높은 압축 효율을 달성했다. 또한, 재학습 과정을 제외한 압축방법인 No Fine-tuning Pruning(NFP)와 ThiNet과의 성능비교 결과 2배 이상의 압축효율이 있음을 검증했다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 관련연구
Ⅲ. 가중치의 양자화 방법
Ⅳ. HEVC를 통한 양자화 가중치 압축
Ⅴ. 실험 결과 및 분석
Ⅵ. 결론
참고문헌
참고문헌 (29)
참고문헌 신청
S. Gupta, A. Agrawal, K. Gopalakrishnan, and P. Narayanan, “Deep learning with limited numerical precision,”, International conference on machine learning. PMLR, 2015, pp. 1737–1746.
B. Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard, H. Adam, and D. Kalenichenko, “Quantization and training of neural networks for efficient integer-arithmetic-only inference,” Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 2704 –2713.
R. David, J. Duke, A. Jain, V. J. Reddi, N. Jeffries, J. Li, N. Kreeger, I. Nappier, M. Natraj, S. Regev et al., “Tensorflow lite micro: Embedded machine learning on tinyml systems,” arXiv preprint arXiv:2010.08678, 2020.
S. Han, H. Mao, and W. J. Dally, “Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding,” arXiv preprint arXiv:1510.00149, 2015.
J. Wu, C. Leng, Y. Wang, Q. Hu, and J. Cheng, “Quantized convolutional neural networks for mobile devices,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 4820–4828.
B. Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard, H. Adam, and D. Kalenichenko, “Quantization and training of neural networks for efficient integer-arithmetic-only inference,” Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 2704 –2713.
R. David, J. Duke, A. Jain, V. J. Reddi, N. Jeffries, J. Li, N. Kreeger, I. Nappier, M. Natraj, S. Regev et al., “Tensorflow lite micro: Embedded machine learning on tinyml systems,” arXiv preprint arXiv:2010.08678, 2020.
S. Han, H. Mao, and W. J. Dally, “Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding,” arXiv preprint arXiv:1510.00149, 2015.
J. Wu, C. Leng, Y. Wang, Q. Hu, and J. Cheng, “Quantized convolutional neural networks for mobile devices,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 4820–4828.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
딥러닝 모델의 압축 방법에 따른 엣지 장치에서의 성능 평가 연구
전자공학회논문지
2021 .06
-
영상 압축기술을 통한 가중치 압축방법
한국방송미디어공학회 학술발표대회 논문집
2020 .11
-
임베디드 보드에서의 CNN 모델 압축 및 성능 검증
방송공학회논문지
2020 .03
-
DCT를 이용한 CNN 모델의 압축방법
한국방송미디어공학회 학술발표대회 논문집
2020 .07
-
희소한 큰 가중치를 가지는 중앙 집중된 양자화를 이용한 효과적인 심층신경망 압축 방법
한국정보과학회 학술발표논문집
2019 .06
-
양자화를 이용한 뉴럴 네트워크의 점진적 압축 기법
한국정보과학회 학술발표논문집
2020 .07
-
경량 딥러닝 모델의 초저정밀도 양자화를 위한 학습 방식의 개선
대한전자공학회 학술대회
2020 .11
-
Inter-Layer Kernel Prediction: 프레임 간 Prediction에 기반한 컨볼루션 신경망 가중치 공유 및 모델 압축 방법
한국방송미디어공학회 학술발표대회 논문집
2020 .11
-
인공신경망 모델 압축을 위한 적응적 양자화 기반 지식 증류 기법
전자공학회논문지
2020 .09
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
딥 러닝 기반의 이미지와 비디오 압축 기술 분석
방송공학회논문지
2018 .05
-
Weight Recycle을 이용한 모델 압축
한국정보과학회 학술발표논문집
2019 .12
-
순차 정수 인코더를 이용한 온습도 기후 데이터 압축 효율 분석에 관한 연구
한국방송미디어공학회 학술발표대회 논문집
2024 .11
-
딥러닝을 이용한 부채널 데이터 압축 프레임 워크
정보보호학회논문지
2024 .06
-
효율적인 심층신경망 구조를 위한 새로운 가중치 예측 기반 양자화 방법
한국정보과학회 학술발표논문집
2019 .06
-
임베디드 시스템에서의 객체 탐지 네트워크 양자화
대한전자공학회 학술대회
2023 .06
-
뉴로모픽 시스템을 위한 인수분해-프루닝 결합 기반 컨볼루셔널 레이어 압축 기법
전자공학회논문지
2019 .03
-
딥러닝 네트워크 압축을 위한 양자화 오프셋의 바이어스 임베딩 기법
한국방송미디어공학회 학술발표대회 논문집
2020 .11
-
지리정보 데이터 압축률 향상을 위한 Run-Length/Byte- Packing 압축 알고리즘 설계 및 구현
한국정보통신학회논문지
2017 .10
-
Global Weight: 심층 신경망의 압축을 위한 네트워크 수준의 가중치 공유
한국방송미디어공학회 학술발표대회 논문집
2020 .07
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2022-567-000066806