지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2019.9
- 수록면
- 775 - 781 (7page)
- DOI
- 10.5302/J.ICROS.2019.19.0118
이용수
초록· 키워드
오류제보하기
Discretizing the Deep Neural Network (DNN) is enforced by a rounding function of weights and activations, which can severely degrade the performance of DNN. This paper categorizes the available quantization methods to be uniform or non-uniform according to the distribution of its quantized interval, and proposes a noble stochastic rounding method to reduce the accuracy loss of the quantized DNN model. Two stochastic rounding methods of linear or nonlinear probability distribution are quantitatively evaluated and analyzed to give an important insight to employ them for designing the compressed DNN model, by comparing them with the previous deterministic nearest rounding. Experimental results show that the stochastic rounding methods are not always superior to the deterministic one and the optimal performance is obtained via a hybrid rounding scheme when applying the stochastic rounding to the input adjacent to the intermediate value between the neighboring quantized values and still using the deterministic one near to the quantized value.
목차
Abstract
I. 서론
II. 양자화 관련 연구
III. 확률론적 라운딩 기법
IV. 실험 결과 및 성능 평가
V. 결론 및 향후 연구
REFERENCES
참고문헌 (22)
참고문헌 신청
Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553, pp. 436-444, 2015.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg “SSD: Single shot multibox detector,” European Conference on Computer Vision, pp. 21-37, 2016.
E. Park, C. Jang, and H. Kim, “Real-time Traffic Signs Recognition using MSERs and CNN,” Journal of Institute of Control, Robotics and Systems(in Korean), vol. 23, no. 6, pp. 489-496, 2017.
C. Jin, T. Do, M. Liu, and H. Kim, “Real-time action detection in video surveillance using a sub-action descriptor with multi-convolutional neural networks,” Journal of Institute of Control, Robotics and Systems, vol. 24, no. 3, pp. 298-308, 2018.
T. Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, “Focal loss for dense object detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg “SSD: Single shot multibox detector,” European Conference on Computer Vision, pp. 21-37, 2016.
E. Park, C. Jang, and H. Kim, “Real-time Traffic Signs Recognition using MSERs and CNN,” Journal of Institute of Control, Robotics and Systems(in Korean), vol. 23, no. 6, pp. 489-496, 2017.
C. Jin, T. Do, M. Liu, and H. Kim, “Real-time action detection in video surveillance using a sub-action descriptor with multi-convolutional neural networks,” Journal of Institute of Control, Robotics and Systems, vol. 24, no. 3, pp. 298-308, 2018.
T. Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, “Focal loss for dense object detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
음의 임계값을 이용한 딥뉴럴네트워크의 하드웨어 친화적 양자화
대한전자공학회 학술대회
2021 .06
-
기계학습을 위한 양자화 경사도함수 유도 및 구현에 관한 연구
대한임베디드공학회논문지
2020 .01
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
Effective Video Compression with two Quantization Parameters
방송공학회논문지
2019 .12
-
SMT-based Formal Verification Methods of Deep Neural Networks using Structural Properties
Journal of KIISE
2021 .09
-
DNN에서 효율적인 학습을 위한 활성화 함수에 대한 고찰
대한전자공학회 학술대회
2016 .11
-
Nonlinear optimization algorithm using monotonically increasing quantization resolution
[ETRI] ETRI Journal
2023 .02
-
신경망의 계층 연관성 전파를 이용한 DNN 예보모델의 입력인자 분석
멀티미디어학회논문지
2021 .08
-
계층 연관성 전파를 이용한 DNN PM2.5 예보모델의 입력인자 분석 및 성능개선
멀티미디어학회논문지
2021 .10
-
임베디드 시스템에서의 기계학습을 위한 양자화 학습 방정식에 관한 연구
대한전자공학회 학술대회
2019 .11
-
경량 딥러닝 모델의 초저정밀도 양자화를 위한 학습 방식의 개선
대한전자공학회 학술대회
2020 .11
-
Similarity based Deep Neural Networks
INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGENT SYSTEMS
2021 .09
-
효율적인 양자화 기법을 통한 DNN 기반 화자 인식 모델 최적화
대한전자공학회 학술대회
2024 .06
-
자율주행 자동차에서 DNN 기반 안전 필수 응용의 성능 저하 방지
전자공학회논문지
2020 .09
-
DNN 추론 가속 하드웨어 최적화를 위한 양자화 기법
대한전자공학회 학술대회
2018 .06
-
강화된 보상함수를 사용하는 양자화된 확률 경사 Langevin 동역학 학습 방정식
대한전자공학회 학술대회
2023 .06
-
자율주행차용 우선순위 기반 다중 DNN 모델 스케줄링 프레임워크
한국정보통신학회논문지
2021 .03
-
글로벌 큐를 통한 임베디드 멀티코어 프로세서의 멀티 DNN 연산 성능 향상
한국정보통신학회논문지
2020 .06
-
선박용 소형 부재의 Round Cutting 공정 자동화 설계
한국정밀공학회 학술발표대회 논문집
2022 .05
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2019-003-000977819