지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.3
- 수록면
- 347 - 354 (8page)
이용수
초록· 키워드
오류제보하기
지속적 학습에서의 망각현상을 완화시키기 위해, 본 논문에서는 지식전달 방법에 기반한 개선된 LwF 모델을 제안하고, 이의 효율성을 실험 결과로 보인다. LwF에 지속적 학습을 적용할 경우, 학습되는 데이터의 도메인이 달라지거나 데이터의 복잡도가 달라지면, 이전에 학습된 결과는 망각현상에 의해 정확도가 떨어지게 된다. 특히 복잡한 데이터에서 단순한 데이터로 학습이 이어질 경우 그 현상이 더 심해지는 경향이 있다. 본 논문에서는 이전 학습 결과가 충분히 LwF 모델에 전달되게 하기 위해 지식전달 방법을 적용하고, 효율적인 사용을 위한 알고리즘을 제안한다. 그 결과 기존 LwF의 결과보다 평균 8% 정도의 망각현상 완화를 보였으며, 학습 태스크가 길어지는 경우에도 효과가 있었다. 특히, 복잡한 데이터가 먼저 학습된 경우에는 LwF 대비 최대 30% 이상 효율이 향상되었다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 본론
Ⅲ. 지식전달을 이용한 개선된 LwF 모델
Ⅳ. 실험 및 결과
Ⅴ. 결론
References
참고문헌 (12)
참고문헌 신청
R. M. French, “Catastrophic forgetting in connectionist networks,” Trends in cognitive sciences, vol. 3, no. 4, pp. 128-135, Apr. 1999.
G. I. Parisi, R. Kemker, J. L.Part, C. Kanan, and S. Wermter, “Continual lifelong learning with neural networks: A review,” Neural Networks, vol. 113, pp. 54-71, May. 2019.
Z. Li and D. Hoiem, “Learning without forgetting,” IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 12, pp. 2935-2947, vol. 40, no. 12, pp. 2935-2947, Dec. 2018.
J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, and R. Hadsell, “Overcoming catastrophic forgetting in neural networks,” in Proceedings of the national academy of sciences, vol. 114, no. 13, pp. 3521-3526, Mar. 2017.
F. Zenke, B. Poole, and S. Ganguli, “Continual learning through synaptic intelligence,” in Proceedings of the 34th International Conference on Machine Learning, vol. 70, pp. 3987-3995, 2017.
G. I. Parisi, R. Kemker, J. L.Part, C. Kanan, and S. Wermter, “Continual lifelong learning with neural networks: A review,” Neural Networks, vol. 113, pp. 54-71, May. 2019.
Z. Li and D. Hoiem, “Learning without forgetting,” IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 12, pp. 2935-2947, vol. 40, no. 12, pp. 2935-2947, Dec. 2018.
J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, and R. Hadsell, “Overcoming catastrophic forgetting in neural networks,” in Proceedings of the national academy of sciences, vol. 114, no. 13, pp. 3521-3526, Mar. 2017.
F. Zenke, B. Poole, and S. Ganguli, “Continual learning through synaptic intelligence,” in Proceedings of the 34th International Conference on Machine Learning, vol. 70, pp. 3987-3995, 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
LwF 환경에서 손실값 제어에 의한 망각현상 완화
한국정보과학회 학술발표논문집
2021 .12
-
어텐션 기반의 지속학습에서 정규화값 제어 방법
전기전자학회논문지
2022 .03
-
지속적 학습 환경에서 효율적 경로 선택
전기전자학회논문지
2021 .09
-
Improvement of Catastrophic Forgetting Phenomenon by Convolution Layer Separation
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2021 .02
-
경량기포혼합토로 뒷채움된 연성매설관의 거동특성
한국지반신소재학회 논문집
2015 .03
-
LwF에서 망각현상 개선을 위한 적응적 가중치 제어 방법
한국정보통신학회논문지
2022 .01
-
Knowledge Distillation 계층 변화에 따른 Anchor Free 물체 검출 Continual Learning
멀티미디어학회논문지
2022 .04
-
데이터 유사도를 이용한 지속적 학습방법
전기전자학회논문지
2020 .06
-
되감기 연속학습 방법
대한전자공학회 학술대회
2020 .08
-
데이터 증강을 통한 기계학습 능력 개선 방법 연구
한국정보통신학회 종합학술대회 논문집
2021 .05
-
전이학습을 수행한 신경망을 사용한 압축센싱 심장 자기공명영상
전기전자학회논문지
2019 .12
-
딥러닝 기반의 학습 성취 예측 모델
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
객체 탐지에서의 메모리 기반 연속 학습 기법 연구
대한전자공학회 학술대회
2023 .06
-
크라우드 소싱 연합학습 모델 서비스 설계
한국정보과학회 학술발표논문집
2021 .12
-
[우수논문] Minimizing Knowledge Forgetting for Face Recognition through Joint Learning
한국정보과학회 학술발표논문집
2022 .12
-
전이학습을 이용한 실내 온도 예측 시뮬레이션 모델 개발
대한건축학회 학술발표대회 논문집
2020 .10
-
Flower 을 사용한 점진적 연합학습시스템 구성
JOURNAL OF PLATFORM TECHNOLOGY
2023 .08
-
금융데이터의 성능 비교를 통한 연합학습 기법의 효용성 분석
정보보호학회논문지
2022 .04
-
준 지도학습 알고리즘을 이용한 뇌파 감정 분석을 위한 학습데이터 선택 방법에 관한 연구
전기전자학회논문지
2018 .09
-
학습 성향에 따른 프로그래밍 학습 효과 및 학습 동기 부여에 관한 연구
한국컴퓨터정보학회 학술발표논문집
2016 .07
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2022-004-001159180