지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2020.2
- 수록면
- 189 - 194 (6page)
이용수
DBpia Top 0.1%동일한 주제분류 기준으로최근 2년간 이용수 순으로 정렬했을 때
해당 논문이 위치하는 상위 비율을 의미합니다.
초록· 키워드
오류제보하기
본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.
목차
요약
Abstract
1. 서론
2. 다층신경망 학습
3. 신경망 학습 알고리즘
4. 실험 및 결과
5. 결론
References
참고문헌 (8)
참고문헌 신청
Smith, Craig S, The Man Who Helped Turn Toronto into a High-Tech Hotbed. The New York Times. Retrieved 27 June 2017.
J. Liang, E. Meyerson, and R. Miikkulainen. Evolutionary architecture search for deep multitask networks. arXiv preprint arXiv:1803.03745, 2018.
J. Dean, G. Corrado, R. Monga, K. Chen, M. Devin, Q. Le, M. Mao, M. Ranzato, A. Senior, P. Tucker, K. Yang, and A. Ng, “Large scale distributed deep net works,” in NIPS, 2012.
T. Schaul, S. Zhang, and Y. LeCun, “No more pesky learning rates,” arXiv:1206.1106, 2012.
N. Jaitly, P. Nguyen, A. Senior, and V. Vanhoucke, “Application of pretrained deep neural networks to large vocabulary speech recognition,” in Interspeech, 2012.
J. Liang, E. Meyerson, and R. Miikkulainen. Evolutionary architecture search for deep multitask networks. arXiv preprint arXiv:1803.03745, 2018.
J. Dean, G. Corrado, R. Monga, K. Chen, M. Devin, Q. Le, M. Mao, M. Ranzato, A. Senior, P. Tucker, K. Yang, and A. Ng, “Large scale distributed deep net works,” in NIPS, 2012.
T. Schaul, S. Zhang, and Y. LeCun, “No more pesky learning rates,” arXiv:1206.1106, 2012.
N. Jaitly, P. Nguyen, A. Senior, and V. Vanhoucke, “Application of pretrained deep neural networks to large vocabulary speech recognition,” in Interspeech, 2012.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Gradient Descent Method for Artificial Intelligence-based Power Flow for Distribution System
대한전기학회 학술대회 논문집
2024 .07
-
경사 하강법에서의 암묵적 정보 병목 현상
한국정보과학회 학술발표논문집
2024 .06
-
GeoGebra 로 설명하는 Gradient Descent Method
대한기계학회 춘추학술대회
2021 .04
-
기하평균 정확도 최적화 기반의 부스팅 학습
Proceedings of KIIT Conference
2022 .12
-
자율주행 자동차의 경로 추종을 위한 다중 경사 하강법을 이용하는 적응형 모델 독립 조향 제어 알고리즘 개발
한국정밀공학회 학술발표대회 논문집
2022 .10
-
분산병렬 환경에서의 Stochastic Gradient Descent 기반 최적화 알고리즘 성능 분석
한국정보과학회 학술발표논문집
2015 .06
-
볼록함수를 목적함수로 둔 시계열 분수계 경사하강법의 최적화 불가능성
한국정보과학회 학술발표논문집
2024 .06
-
경사하강법을 활용한 메타휴리스틱 최적화 알고리즘의 개량 : HS-GD
대한토목학회 학술대회
2022 .10
-
Gradient Descent 기법을 이용한 정전용량 터치센서의 전기적 특성 분석
대한전자공학회 학술대회
2017 .06
-
Performance Analysis of Optimization Algorithms
한국통신학회 학술대회논문집
2022 .11
-
4륜 독립 조향 차량 경로 추종을 위한 경사 하강법 기반 적응형 규칙 및 슬라이딩 모드 제어기를 이용하는 제어 입력 분배 알고리즘 개발
한국자동차공학회 추계학술대회 및 전시회
2022 .11
-
심층신경망을 이용한 복합기의 진동 신호 분석
한국소음진동공학회 학술대회논문집
2018 .04
-
주파수 분할 이중화 대용량 다중입출력 시스템을 위한 경사하강법 기반 다중경로요소 추정 기법
한국통신학회논문지
2018 .05
-
EPS System용 PMSM의 경사 하강법 기반 토크 리플 저감 알고리즘
한국자동차공학회 추계학술대회 및 전시회
2019 .11
-
적분제어를 이용한 연속 시간의 최적화 알고리즘
제어로봇시스템학회 논문지
2019 .09
-
Gradient Descent-Based Multipath Components Estimation for Cell-less Systems
한국통신학회 학술대회논문집
2018 .01
-
Stein Variational Gradient Descent 방법 기반 베이지안 신경망 양자화 및 불확실성에 대한 분석
한국통신학회 학술대회논문집
2024 .11
-
선형 회귀 모델과 경사하강법을 활용한 공작기계 이송계 모델 파라미터 식별
한국정밀공학회 학술발표대회 논문집
2022 .10
-
Joint AOA & TDOA Estimation by Gradient Descent Method
한국통신학회 학술대회논문집
2017 .06
-
노드 그룹핑을 이용한 다중 비트 gradient descent bit flipping 복호 알고리즘
한국통신학회 학술대회논문집
2017 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
경사 하강법을 이용한 개선된 계층적 코드북 설계
윤성근
,
이승준
한국정보기술학회논문지
2020
.02
GeoGebra 로 설명하는 Gradient Descent Method
장진
대한기계학회 춘추학술대회
2021
.04
경사하강법을 활용한 메타휴리스틱 최적화 알고리즘의 개량 : HS-GD
김영남
,
이의훈
대한토목학회 학술대회
2022
.10
두 이종 혼합 모형에서의 수정된 경사 하강법
문상준
,
전종준
한국데이터정보과학회지
2017
.11
시각장애인을 위한 실내 공공사인색채의 시각 인지성 평가
이석현
한국색채학회논문집
2016
.02
최근 본 자료
댓글(0)
0