지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2015.6
- 수록면
- 57 - 62 (6page)
이용수
초록· 키워드
오류제보하기
Relative entropy is a divergence measure between two probability density functions of a random variable. Assuming that the random variable has only two alphabets, the relative entropy becomes a cross-entropy error function that can accelerate training convergence of multi-layer perceptron neural networks. Also, the n-th order extension of cross-entropy (nCE) error function exhibits an improved performance in viewpoints of learning convergence and generalization capability. In this paper, we derive a new divergence measure between two probability density functions from the nCE error function. And the new divergence measure is compared with the relative entropy through the use of three-dimensional plots.
목차
ABSTRACT
1. INTRODUCTION
2. RELATIVE ENTROPY AND CROSS-ENTROPY
3. NEW DIVERGENC MEASURE FROM THE n-th ORDER EXTENSION OF CROSS-ENTROPY
4. CONCLUSIONS
REFERENCES
참고문헌 (18)
참고문헌 신청
[학술지(정기간행물)] - K. Hornik / 1989 / Multilayer Feed-forward Networks are Universal Approximators / Neural Networks 2 : 359 ~ 366
[학술지(정기간행물)] - K. Hornik / 1991 / Approximation Capabilities of Multilayer Feedforward Networks / Neural Networks 4 : 251 ~ 257
[학술지(정기간행물)] - S. Suzuki / 1998 / Constructive Function Approximation by Three-Layer Artificial Neural Networks / Neural Networks 11 : 1049 ~ 1058
[단행본] - D. E. Rumelhart / 1986 / Parallel Distributed Processing / Cambridge
[학술지(정기간행물)] - A. van Ooyen / 1992 / Improving the Convergence of the Backpropagation Algorithm / Neural Networks 5 : 465 ~ 471
[학술지(정기간행물)] - K. Hornik / 1991 / Approximation Capabilities of Multilayer Feedforward Networks / Neural Networks 4 : 251 ~ 257
[학술지(정기간행물)] - S. Suzuki / 1998 / Constructive Function Approximation by Three-Layer Artificial Neural Networks / Neural Networks 11 : 1049 ~ 1058
[단행본] - D. E. Rumelhart / 1986 / Parallel Distributed Processing / Cambridge
[학술지(정기간행물)] - A. van Ooyen / 1992 / Improving the Convergence of the Backpropagation Algorithm / Neural Networks 5 : 465 ~ 471
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
적응형 가중치를 사용한 Binary Cross Entropy
한국정보과학회 학술발표논문집
2023 .06
-
Reliability evaluation of water distribution network considering mechanical characteristics using informational entropy
Structural Engineering and Mechanics, An Int＇l Journal
2016 .01
-
Reliability evaluation of water distribution network considering mechanical characteristics using informational entropy
Structural engineering and mechanics : An international journal
2016 .01
-
Statistical Analyses of Cross-Entropy Error Function with Probabilistic Target Encoding for Training Neural Networks
International JOURNAL OF CONTENTS
2025 .03
-
Jesnen-Shannon Divergence를 이용한 PHM 실험 디자인
대한기계학회 춘추학술대회
2018 .12
-
Adaptivity in higher-order discontinuous Galerkin based numerical solution of conservation laws using divergence error as indicator
한국전산유체공학회 학술대회논문집
2022 .10
-
Spiking Neural Network의 가중치 갱신을 위한 Binary Cross-Entropy Loss의 적용 고찰
한국콘크리트학회 학술대회 논문집
2024 .11
-
디자인의 감성만족도 평가를 위한 시선 엔트로피의 활용에 관한 기초연구
대한인간공학회지
2020 .10
-
CNN을 이용한 발화 주제 다중 분류
한국어정보학회 학술대회
2017 .01
-
Entropy of Energy를 이용한 연소 불안정 평가 기법에 관한 연구
KOSCO SYMPOSIUM 논문집
2019 .05
-
The Influence of Firm Size on ESG Rating and Divergence: Evidence from Korea
AFORE
2023 .11
-
Complement Entropy를 이용한 불균형 데이터의 학습
한국정보과학회 학술발표논문집
2020 .07
-
Entropy Estimation of the Position of the Barrier Dimension : Applicability Nearsighted and Farsighted Iterative Algorithms for Processing High-Dimensional Data
제어로봇시스템학회 국제학술대회 논문집
2015 .10
-
Multi-objective Portfolio Selection Based on Skew-Normal Uncertainty Distribution and Asymmetric Entropy
INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGENT SYSTEMS
2021 .03
-
Wall-Bounded Flow에 적용 가능한 Divergence-Free Smoothing 개발
대한기계학회 춘추학술대회
2018 .04
-
샘플링율이 맥박변이도 Sample Entropy 분석 결과에 미치는 영향 분석
대한전기학회 학술대회 논문집
2016 .07
-
Improving the Water Level Prediction of Multi-Layer Perceptron with a Modified Error Function
International JOURNAL OF CONTENTS
2017 .12
-
Entropy Driven Strategy for Highly Efficient Organic Photovoltaics
한국고분자학회 학술대회 연구논문 초록집
2022 .04
-
테스트 단계 도메인 적응 모델의 성능 향상을 위한 기법 분석
방송공학회논문지
2023 .09
-
중엔트로피 합금의 인발 공정 해석
한국소성가공학회 학술대회 논문집
2022 .05
이 논문의 저자 정보
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-090385081