메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
김학빈 (인하대학교) 최동완 (인하대학교)
저널정보
Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.48 No.4
발행연도
2021.4
수록면
369 - 376 (8page)
DOI
10.5626/JOK.2021.48.4.369

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

초록· 키워드

오류제보하기
최근 지식 증류기반의 신경망 압축 기법에 관한 연구가 활발히 진행되고 있다. 하지만, 사용자가 교사모델의 전체 클래스 중 일부만을 분류하기 원하는 경우 기존의 지식 증류기법은 불필요한 정보까지 전달하게 되어 비효율성이 발생한다. 또한, 기존의 지식 증류기법은 교사모델의 학습에 사용된 데이터를 필요로 하지만, 개인 정보 문제 등으로 큰 제약이 될 수 있다. 이에 본 논문에서는 교사모델의 전체 클래스 중 특정 클래스들의 분류만을 위한 전문화된 학생모델을 학습하는 조건부 지식 증류기법과 데이터가 없는 상황으로 확장된 조건부 지식 증류기법을 함께 제안한다. 아울러 사용자가 소량의 데이터만 수집한 경우, 위의 두 증류기법이 결합된 방식도 함께 제안한다. 제안하는 기법을 통해 학습된 전문화된 학생모델은 기존의 지식 증류를 통해 학습된 학생모델보다 높은 정확도를 달성하였으며 데이터가 없는 상황에서도 데이터를 사용한 지식 증류기법에 비해 대부분의 실험에서 높은 정확도를 달성하였다.
#지식 증류 #모델 압축 #모델 전문화 #데이터 프리 기계학습 #knowledge distillation #model compression #model specialization #data-free machine learning

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 제안하는 방법
4. 실험
5. 결론
References

참고문헌 (16)

참고문헌 신청
Hinton, G., Vinyals, O., and Dean, J., "Distilling the knowledge in a neural network," arXiv:1503.02531, 2015. Zagoruyko, S., and Komodakis, N., "Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer," arXiv:1612.03928, 2016. Yim, J., Joo, D., Bae, J., and Kim, J., "A gift from knowledge distillation: Fast optimization, network minimization and transfer learning," Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4133-4141, 2017. google schola Lee, S. H., Kim, D. H., and Song, B. C., "Selfsupervised knowledge distillation using singular value decomposition," Proc. of the European Conference on Computer Vision, pp. 339-354, 2018. google schola Han, S., Shen, H., Philipose, M., Agarwal, S., Wolman, A., and Krishnamurthy, A., "Mcdnn: An approximation-based execution framework for deep stream processing under resource constraints," Proc. of the 14th Annual International Conference on Mobile Systems, Applications, and Services, pp. 123-136, 2016. google schola

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이 논문과 함께 이용한 논문

Fair Feature Distillation Using Teacher Models of Larger Architecture
Sangwon Jung ,  Taesup Moon Journal of KIISE 2021 .11
Improving Low Resource Chest X-ray Classification Accuracy by Combining Data Augmentation and Weakly Supervised Learning
박민규 ,  김준태 Journal of KIISE 2021 .09
Low-Resolution Image Classification Using Knowledge Distillation From High-Resolution Image Via Self-Attention Map
신성호 ,  이주순 ,  이준석 외 2명 Journal of KIISE 2020 .11
저해상도 이미지 분류를 위한 고해상도 이미지로부터의 Self-Attention 정보 추출 네트워크
신성호 ,  최승준 ,  이규빈 한국정보과학회 학술발표논문집 2019 .12
Question Answering Optimization via Temporal Representation and Data Augmentation of Dynamic Memory Networks
한동식 ,  이충연 ,  장병탁 Journal of KIISE 2017 .01

최근 본 자료

전체보기

댓글(0)

0