지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2024.6
- 수록면
- 2,363 - 2,366 (4page)
이용수
초록· 키워드
오류제보하기
Research on lightweighting is underway for real-world artificial intelligence applications. In this paper, we study the knowledge distillation method from the teacher model trained with supervised contrastive loss. Since most knowledge distillation methods are based on the cross-entropy loss trained teacher model, the distillation of knowledge from the supervised contrastive loss trained teacher may be suboptimal. Therefore, we experimented with different knowledge distillation losses to find the optimal loss for teacher models trained with supervised contrast loss. Experiments show that the student models that distill knowledge using cosine similarity loss perform best.
목차
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 본론
Ⅳ. 실험
Ⅴ. 결론 및 향후 연구 방향
참고문헌
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Knowledge Distillation via Bridge Network
한국통신학회 학술대회논문집
2019 .06
-
Knowledge Distillation을 이용한 식물 영상 복원
대한전자공학회 학술대회
2022 .06
-
가중화된 지식 기반 지식 증류
전기학회논문지
2022 .02
-
Knowledge Transfer Based Spatial Embedding Network for Plant Leaf Instance Segmentation
IEIE Transactions on Smart Processing & Computing
2023 .04
-
이질적 지식증류를 활용한 텍스트 분류 방법론
한국컴퓨터정보학회논문지
2022 .10
-
규제화된 지식 증류기법 (Knowledge Distillation)을 이용한 네트워크 압축
한국정보과학회 학술발표논문집
2019 .12
-
Zero-shot Knowledge Distillation for Regression
대한산업공학회 추계학술대회 논문집
2019 .11
-
Knowledge Distillation을 이용한 한국어 구구조 구문 분석 모델의 압축
한국정보과학회 학술발표논문집
2017 .06
-
지식의 분포 특성을 활용한 지식 증류
정보 및 제어 논문집
2021 .04
-
대조 학습 기반 자가증류를 이용한 단일 영상 초해상화 모델 경량화 기법
방송공학회논문지
2023 .11
-
지식 증류 기법 별 교사와 학생 간 강건성 상호 관계
한국정보과학회 학술발표논문집
2024 .06
-
교사 답변 엔트로피 기반 적응적 지식 증류
한국지능시스템학회 논문지
2024 .12
-
Self-Supervised Contrastive loss를 이용한 Multimodal 감정 인식
한국정보과학회 학술발표논문집
2023 .06
-
도메인 지식 증류: 도메인 지식 이전을 위한 증류 방법론
대한전자공학회 학술대회
2023 .06
-
Knowledge Distillation 을 이용한 Camera Pose Estimation 모델 경량화
한국통신학회 인공지능 학술대회 논문집
2023 .09
-
데이터 없는 상황에서의 확산 기반 이미지 생성 모델 지식 증류
대한전자공학회 학술대회
2024 .11
-
학습 데이터 부족 상황에서의 회귀 인공신경망 지식 증류 기법
한국정보과학회 학술발표논문집
2022 .06
-
Knowledge Distillation for cost effective fault Prediction in manufacturing process
대한산업공학회 추계학술대회 논문집
2023 .11
-
Focal Loss와 Supervised Contrastive Learning을 이용한 혐오 표현 분류 모델
한국정보과학회 학술발표논문집
2023 .06
-
내연기관 자동차에 사용되는 연료의 증류특성에 관한 실험적 연구
한국가스학회지
2021 .10
최근 본 자료
댓글(0)
0