개인구독
소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 서지원
- 발행연도
- 2022
- 저작권
- 한양대학교 논문은 저작권에 의해 보호받습니다.
이용수5
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
양자화(Quantization) 기법은 데이터를 표현하는 자료형의 크기를 축소시키는 기술로, 소프트웨어가 요구하는 계산 및 저장 역량의 수준을 낮추기 위해 사용 한다. 많은 심층 신경망(Deep Neural Network) 모델들을 양자화 할 때 양자화 로 인한 정보 손실을 최소화 하기 위해 8 bit 자료형을 주로 사용한다. 모델을 4 bit 자료형으로 양자화 할 경우 모델의 성능이 크게 저하되는 단점이 있기 때 문이다. 본 논문에서는 4 bit 자료형의 저장 공간 축소와 8 bit 자료형의 추론 성능 유지라는 장점들을 모두 활용할 수 있는 혼합 정밀도 양자화 방법 및 추론 방법을 제안한다. 그 방법은 1) 양자화 시 정보 손실이 많은 계층에 높은 정밀 도의 자료형을 적용하여 성능 저하를 최소화 하고, 2) 압축률을 높이기 위해 계 층 내 혼합 정밀도를 적용할 때 추론 이전에 선형 변환을 이용하여 하나의 자료 형으로 통합 및 계산하는 것이다. 실험에는 INT4 자료형과 INT8 자료형을 사용 했으며, 그 결과, 1) INT4 단일 정밀도를 이용하여 양자화 된 모델과 유사한 저 장 공간을 사용했고, 2) INT8 단일 정밀도를 이용하여 양자화 된 모델과 유사 한 성능을 유지함을 보였다.
목차
제 1장 서론 1제1절 심층 신경망의 양자화 1제2 절 연구의 필요성 2제 2장 이론적 배경 3제1절 기존 심층 신경망 양자화 연구 3제2절Quantization Aware Training 5제3절Integer-arithmetic-only Inference 6제 3장 혼합 정밀도를 이용한 양자화 7제1절 자료형의 선형 변환 8제2 절 심층 신경망의 계층 별 성능 저하 예측 9제 4장 실험 및 결과 11제1 절 기본 실험 환경 및 모델 구조 11제2 절 계층 별 정밀도 선택 13제3 절 실험 결과 15제 5장 결론 16참고자료 17영문요지 19
최근 본 자료
댓글(0)
0