지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2017.10
- 수록면
- 75 - 80 (6page)
이용수
초록· 키워드
오류제보하기
본 논문에서는 딥러닝에서 활용되는 정규화(regularization) 및 항등사상(identity mapping)이 활성함수(activation function) 성능에 미치는 영향에 대해 설명한다. 딥러닝에서 활성함수는 비선형 변환을 위해 사용된다. 초기에는 sigmoid 함수가 사용되었으며, 기울기가 사라지는 기존의 활성함수의 문제점을 극복하기 위해 ReLU(Rectified Linear Unit), LReLU(Leaky ReLU), PReLU(Parametric ReLU), ELU(Exponetial Linear Unit)이 개발되었다. 활성함수와의 연구와는 별도로 과적합(Overfitting)문제를 해결하기 위해, Dropout, 배치 정규화(Batch normalization) 등의 정규화 방법들이 개발되었다. 추가적으로 과적합을 피하기 위해, 일반적으로 기계학습 분야에서 사용되는 data augmentation 기법이 활용된다. 딥러닝 구조의 측면에서는 기존에 단순히 컨볼루션(Convolution) 층을 쌓아올리는 구조에서 항등사상을 추가하여 순방향, 역방향의 신호흐름을 개선한 residual network가 개발되었다. 위에서 언급된 활성함수들은 각기 서로 다른 특성을 가지고 있으나, 새로운 정규화 및 딥러닝 구조 연구에서는 가장 많이 사용되는 ReLU에 대해서만 검증되었다. 따라서 본 논문에서는 정규화 및 항등사상에 따른 활성함수의 성능에 대해 실험적으로 분석하였다. 분석을 통해, 정규화 및 항등사상 유무에 따른 활성함수 성능의 경향을 제시하였으며, 이는 활성함수 선택을 위한 교차검증 횟수를 줄일 수 있을 것이다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 실험
4. 결론
References
참고문헌 (9)
참고문헌 신청
[학술지(정기간행물)] - Srivastava, Nitish / 2014 / Dropout : a simple way to prevent neural networks from overfitting / Journal of Machine Learning Research 15 (1) : 1929 ~ 1958
[학술대회논문] - Wan, Li / 2013 / Regularization of neural networks using dropconnect / Proceedings of the 30th international conference on machine learning(ICML-13)
[학술대회논문] - Ioffe, Sergey / 2015 / Batch normalization: Accelerating deep network training by reducing internal covariate shift / International Conference on Machine Learning
[학술대회논문] - He, Kaiming / 2016 / Deep residual learning for image recognition / Proceedings of the IEEE conference on computer vision and pattern recognition
[학술대회논문] - Nair, Vinod / 2010 / Rectified linear units improve restricted boltzmann machines / Proceedings of the 27th international conference on machine learning(ICML-10)
[학술대회논문] - Wan, Li / 2013 / Regularization of neural networks using dropconnect / Proceedings of the 30th international conference on machine learning(ICML-13)
[학술대회논문] - Ioffe, Sergey / 2015 / Batch normalization: Accelerating deep network training by reducing internal covariate shift / International Conference on Machine Learning
[학술대회논문] - He, Kaiming / 2016 / Deep residual learning for image recognition / Proceedings of the IEEE conference on computer vision and pattern recognition
[학술대회논문] - Nair, Vinod / 2010 / Rectified linear units improve restricted boltzmann machines / Proceedings of the 27th international conference on machine learning(ICML-10)
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
컨벌루션 신경망에서 활성 함수가 미치는 영상 분류 성능 비교
멀티미디어학회논문지
2018 .10
-
심층학습 활성함수에 따른 표정 인식 성능 분석
제어로봇시스템학회 국내학술대회 논문집
2019 .05
-
활성화 함수에 따른 U-Net의 성능 변화: ReLU와 Sigmoid 실증적 비교 분석
한국정보통신학회 종합학술대회 논문집
2024 .10
-
A Wasserstein Autoencoder with SMU Activation Function for Anomaly Detection
한국통신학회 학술대회논문집
2022 .02
-
CoS: 딥러닝을 위한 시그모이드로 구성한 강조된 부드러운 비단조성 활성 함수
한국정보기술학회논문지
2021 .01
-
The Bi-activation function : an Enhanced Version of an Activation function in Convolutional Neural Network
한국통신학회 학술대회논문집
2020 .02
-
유도전동기의 고정자 고장 진단을 위한 CNN의 활성화 함수 선정
한국전자통신학회 논문지
2021 .01
-
정현파 활성화 함수를 활용한 지도학습 Autoencoder 기반 초음파 거리측정 시스템
전자공학회논문지
2024 .10
-
The Effect of Hyperparameter Choice on ReLU and SELU Activation Function
International journal of advanced smart convergence
2017 .01
-
2D 슈팅 게임 학습 에이전트의 성능 향상을 위한 딥러닝 활성화 함수 비교 분석
한국인터넷방송통신학회 논문지
2019 .01
-
활성화 함수 근사를 통한 지수함수 기반 신경망 마스킹 기법
정보보호학회논문지
2023 .10
-
Exponential Nonlinear Regularization : An Improved Version of Regularization for Deep Learning Model
한국통신학회 학술대회논문집
2020 .02
-
화성 기상 예측을 위한 어텐션 메커니즘과 활성화 함수를 고려한 RNN 아키텍처의 비교 분석
한국컴퓨터정보학회논문지
2024 .10
-
컨벌루션 신경회로망과 ReLU 함수 기반 ELM 분류기를 이용한 영상 분류
한국정보기술학회논문지
2017 .02
-
Regularization 기법을 활용한 과적합 방지 연구
한국정보통신학회 종합학술대회 논문집
2023 .10
-
Searching Effective Network Parameters to Construct Convolutional Neural Networks for Object Detection
Journal of KIISE
2017 .07
-
Exponential Linear Unit 활성화 함수를 이용한 YOLOv3
대한전자공학회 학술대회
2019 .11
-
Layered Abstraction Technique for Effective Formal Verification of Deep Neural Networks
Journal of KIISE
2022 .11
-
실시간 객체 탐지에서 심층 신경망 처리 시간 감소를 위한 활성화 함수 위치 변경
대한전자공학회 학술대회
2020 .11
-
ESCPN을 이용한 초해상화 시 활성화 함수에 따른 이미지 품질의 비교
한국정보통신학회 종합학술대회 논문집
2022 .05
이 논문의 저자 정보
이 논문과 함께 이용한 논문
얼굴과 의복 정보를 활용한 딥러닝 기반 신원인식
홍성은
,
임우빈
,
박준우
외 1명
대한전자공학회 학술대회
2016
.06
딥러닝을 이용한 영상 기반의 콘크리트 구조물 박락 탐지
이예인
,
김병현
,
조수진
콘크리트학회 논문집
2018
.02
하계 전력수요 예측을 위한 딥 러닝 입력 패턴에 관한 연구
신동하
,
김창복
한국정보기술학회논문지
2016
.11
희소표현법과 딥러닝을 이용한 초고해상도 기반의 얼굴 인식
권오설
멀티미디어학회논문지
2018
.02
신재생에너지용 태양광 PCS 국내 기술기준 및 성능시험
윤용호
전기학회논문지
2018
.03
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2018-505-001395767