지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2021.11
- 수록면
- 813 - 816 (4page)
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
Lightweight CNN models such as MobileNetV2 have gained popularity thanks to their preferred model size in mobile devices. However, these models suffer significant accuracy degradation when per-layer quantization-aware training (QAT) is applied for supreme computational efficiency due to the high distributional diversity across the channels of depth-wise separable convolution in lightweight CNNs. This work proposes a per-channel QAT robust to channel-wise diversity, equipped with an asymmetric clipping value decay (ACD) method for automatically adjusting the activation dynamic range appropriate for the current clipping values. Experimental results show that the proposed per-channel QAT with ACD mitigates quantization errors and achieves higher accuracy on 2-bit MobileNetV2 on CIRAR10 and CIRAR100 compared to the baseline per-layer and per-channel QATs.
목차
Abstract
Ⅰ. 서론
Ⅱ. 본론
Ⅲ. 실험
Ⅳ. 결론 및 향후 연구 방향
참고문헌
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
QAT-Clip: Clipping Outliers during Fine-Tuning to Quantize Tr ansformer-based Language Models
한국정보과학회 학술발표논문집
2024 .06
-
클리핑 인식 양자화 학습을 통한 하드웨어 친화적인 이미지 분류 네트워크 구현
대한전자공학회 학술대회
2022 .06
-
경량 딥러닝 모델의 초저정밀도 양자화를 위한 학습 방식의 개선
대한전자공학회 학술대회
2020 .11
-
Channel-wise Mixed precision considering quantization sensitivity and layer characteristics
한국정보과학회 학술발표논문집
2022 .12
-
Layer-wise Knowledge Distillation (LKD)와 Hessian-based Rounding을 이용한 저비용 LLM 양자화
대한전자공학회 학술대회
2024 .06
-
Clipping Vector을 활용한 양자화 후 학습에서의 Layer-adaptive Gradient Clipping
대한전자공학회 학술대회
2023 .06
-
하드웨어 구현에 효율적인 Power-of-Two 균일 양자화 기법 연구
대한전자공학회 학술대회
2021 .06
-
모바일 디바이스에서의 딥러닝 모델 활용을 위한 MobileNetV2 경량화 기법에 대한 실험적 분석
한국정보과학회 학술발표논문집
2020 .12
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
얼굴 감정인식을 위한 양자화된 경량 합성곱 신경망 구조 연구
전자공학회논문지
2020 .12
-
채널간 압축과 해제를 통한 MobileNetV2 최적화
한국방송미디어공학회 학술발표대회 논문집
2021 .11
-
임베디드 시스템에서의 객체 탐지 네트워크 양자화
대한전자공학회 학술대회
2023 .06
-
MobileNetV2 의 고속화 및 연산량 최적화를 위한 채널 확장 매개변수에 관한 연구
한국통신학회 학술대회논문집
2018 .06
-
레이어 별 양자화 오류 최적화 기법 중심 거대 언어 모델에 대한 훈련 후 양자화 최신 기술 분석
한국통신학회 학술대회논문집
2024 .11
-
네트워크 트래픽 사이즈 예측 모델의 경량화를 위한 양자화 기법 분석 및 비교
한국정보과학회 학술발표논문집
2024 .12
-
Octree 기반의 개선된 K-means 색상 양자화
한국컴퓨터정보학회논문지
2015 .12
-
비디오 인코더를 통한 딥러닝 모델의 정수 가중치 압축
방송공학회논문지
2021 .11
-
이미지 분류를 위한 양자화 기반 경량 심층 신경망
전자공학회논문지
2024 .11
-
중요도 기반 딥러닝 네트워크 학습 중 양자화 기법
대한전자공학회 학술대회
2022 .06
-
경량화 관점의 소규모 언어 모델 연구동향
한국통신학회 학술대회논문집
2024 .06
이 논문의 저자 정보
최근 본 자료
댓글(0)
0