지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2020.11
- 수록면
- 601 - 604 (4page)
이용수
초록· 키워드
오류제보하기
Deep Learning Model Quantization is the most effective technique to make a model much lighter and cost efficient in terms of computation.
Above many quantization algorithms, PROFIT[1] is a specialized algorithm for sub 4-bit mobile network quantization. But this method has sudden accuracy degradation in 2-bit width precision.
In this paper, we propose a better training method to deal with this problem in 2-bit weight quantization. We adopt AIWQ, a metric for the activation’s instability induced by weight quantization [1] and make threshold value with this metric. Using threshold value, we stop training some quantized layers which have high sensitivity to weight quantization and fine-tune the rest of the quantized layers with different learning rate and scheduler. With this advanced training method, we improved 2-bit weight quantization accuracy of light deep learning models including EfficientNetB0 and MobilenetV2.
Above many quantization algorithms, PROFIT[1] is a specialized algorithm for sub 4-bit mobile network quantization. But this method has sudden accuracy degradation in 2-bit width precision.
In this paper, we propose a better training method to deal with this problem in 2-bit weight quantization. We adopt AIWQ, a metric for the activation’s instability induced by weight quantization [1] and make threshold value with this metric. Using threshold value, we stop training some quantized layers which have high sensitivity to weight quantization and fine-tune the rest of the quantized layers with different learning rate and scheduler. With this advanced training method, we improved 2-bit weight quantization accuracy of light deep learning models including EfficientNetB0 and MobilenetV2.
목차
Abstract
Ⅰ. 서론
Ⅱ. 본론
Ⅲ. 실험
Ⅳ. 결론
참고문헌
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
하드웨어 구현에 효율적인 Power-of-Two 균일 양자화 기법 연구
대한전자공학회 학술대회
2021 .06
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
임베디드 시스템에서의 객체 탐지 네트워크 양자화
대한전자공학회 학술대회
2023 .06
-
Mixed precision과 적응적 bias을 활용한 8-bit 부동소수점 양자화
대한전자공학회 학술대회
2021 .06
-
Octree 기반의 개선된 K-means 색상 양자화
한국컴퓨터정보학회논문지
2015 .12
-
Batch Normalization을 위한 향상된 Hardware 친화적 Quantization 기법
대한전자공학회 학술대회
2020 .08
-
음의 임계값을 이용한 딥뉴럴네트워크의 하드웨어 친화적 양자화
대한전자공학회 학술대회
2021 .06
-
Nonlinear optimization algorithm using monotonically increasing quantization resolution
[ETRI] ETRI Journal
2023 .02
-
심층신경망의 Quantization 학습에 대한 시간과 정확도의 Trade-Off 분석 및 최소 학습량 도출
한국정보과학회 학술발표논문집
2020 .12
-
Performance Analysis of Linear Quantization and Non-linear Quantization for DOCSIS 3.0 Signal Compression
한국통신학회 학술대회논문집
2017 .06
-
경량화 관점의 소규모 언어 모델 연구동향
한국통신학회 학술대회논문집
2024 .06
-
Economic Trend Prediction and Belief Quantization using Deep Learning and Control Line
대한산업공학회 춘계공동학술대회 논문집
2016 .04
-
SWNQ: 스케일링된 가중치 정규화 기반 사후학습 양자화 기법
한국통신학회논문지
2021 .03
-
저전력 통신 시스템을 위한 1-bit 양자화 기반 프레임 동기 기법
대한전자공학회 학술대회
2019 .06
-
중요도 기반 딥러닝 네트워크 학습 중 양자화 기법
대한전자공학회 학술대회
2022 .06
-
양자화가 얼굴 인식 성능에 끼치는 영향 분석
한국정보과학회 학술발표논문집
2022 .12
-
SDN 환경에서 Learning Vector Quantization 알고리즘을 이용한 분산 컨트롤러
한국컴퓨터정보학회 학술발표논문집
2018 .07
-
효율적인 양자화 기법을 통한 DNN 기반 화자 인식 모델 최적화
대한전자공학회 학술대회
2024 .06
-
연합학습에서의 양자화 레벨에 따른 영향 분석
대한전자공학회 학술대회
2021 .06
-
Channel-wise Mixed precision considering quantization sensitivity and layer characteristics
한국정보과학회 학술발표논문집
2022 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0