지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2019.10
- 수록면
- 1,961 - 1,974 (14page)
- DOI
- 10.7840/kics.2019.44.10.1961
이용수
초록· 키워드
오류제보하기
본 논문은 강화학습(Reinforcement Learning)의 성능에 상관성을 갖는 여러 요인 및 조건들을 고찰하고, 이를 개선하기 위한 N-DQN 모델을 정의한다. N-DQN은 HDQN의 구조를 응용 및 확장하는 개념으로 여러 actor를 계층화하며 Policy-Base의 행동관리를 통해 작업이 동시/병렬적으로 수행되는 구조를 갖는다. 각각의 actor가 행동을 수행하면서 획득한 Episode는 Replay Buffer에 공유성 있게 저장되며, 이러한 과정에서 우선적 경험재생(Prioritized Experience Replay), 보상 획득구간의 세분화 등과 같은 다양한 강화학습의 개선요인을 적용하였다. 구현된 N-DQN은 성능평가에서 Reward-Sparse 환경에서 Q-Learning 알고리즘과 대비하여 약 3.5배의 높은 학습성능을 보였으며, DQN과 대비해서 약 1.1배의 빠른 목표 달성 속도를 보였다. 또한, 우선적 경험재생의 구현과 보상획득 구간 세분화 정책의 구현을 통해 기존의 강화학습 모델들이 갖던 Positive-Bias 등의 문제점이 거의 발생하지 않았다. 하지만, 많은 수의 Actor를 병렬로 활용하는 아키텍처의 특성에 따라, 추후 경량화에 관한 추가적인 연구의 필요성이 제기된다. 본 논문은 추후 수행될 경량화 및 성능 개선 연구의 초석으로, 제안하는 아키텍처의 구조와 활용된 다양한 알고리즘의 내용 그리고 이를 구현하기 위한 명세를 상세히 기술한다.
목차
요약
ABSTRACT
Ⅰ. Introduction
Ⅱ. Related Works
Ⅲ. Proposed N-DQN
Ⅳ. Evaluation Results and Analysis
Ⅴ. Ping-Pong with RL
Ⅵ. Conclusion
References
참고문헌 (30)
참고문헌 신청
L. P. Kaelbling, M. L. Littman, and A. W. Moore, “Reinforcement learning: A survey,” J. Artificial Intell. Res., vol. 4, pp. 237-285, 1996.
J. A. Boyan and A. W. Moore, “Generalization in reinforcement learning: Safely approximating the value function,” in Advances in Neural Inf. Process. Syst., pp. 369-376, 1995.
C. J. Watkins and P. Dayan, “Q-learning. Machine learning,” vol. 8, no. 3-4, pp. 279-292, 1992.
H. V. Hasselt, “Double Q-learning,” in Advances in Neural Inf. Process. Syst., pp. 2613-2621, 2010.
T. D. Kulkarni, K. Narasimhan, A. Saeedi, and J. Tenenbaum, “Hierarchical deep reinforcement learning: Integrating temporal abstraction and intrinsic motivation,” in Advances in Neural Inf. Process. Syst., pp. 3675-3683, 2016.
J. A. Boyan and A. W. Moore, “Generalization in reinforcement learning: Safely approximating the value function,” in Advances in Neural Inf. Process. Syst., pp. 369-376, 1995.
C. J. Watkins and P. Dayan, “Q-learning. Machine learning,” vol. 8, no. 3-4, pp. 279-292, 1992.
H. V. Hasselt, “Double Q-learning,” in Advances in Neural Inf. Process. Syst., pp. 2613-2621, 2010.
T. D. Kulkarni, K. Narasimhan, A. Saeedi, and J. Tenenbaum, “Hierarchical deep reinforcement learning: Integrating temporal abstraction and intrinsic motivation,” in Advances in Neural Inf. Process. Syst., pp. 3675-3683, 2016.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
테트리스 환경을 이용한 A2C, DQN 두 강화 학습 알고리즘의 결과 비교 분석
Proceedings of KIIT Conference
2023 .06
-
발생 확률 분포에 따른 DQN 학습 성능 비교
한국통신학회 학술대회논문집
2020 .02
-
작물 생산량 예측을 위한 심층강화학습 성능 분석
한국전자통신학회 논문지
2023 .02
-
DQN 방식의 강화학습을 이용한 모바일 로봇의 자율이동
한국생산제조학회 학술발표대회 논문집
2021 .07
-
안정적인 학습을 위한 멀티-스텝 DQN
한국통신학회 학술대회논문집
2020 .08
-
강화학습 환경에 따른 A2C, DQN 알고리즘의 학습 효율성 비교, 분석
Proceedings of KIIT Conference
2023 .06
-
강화학습 게임에서 높은 보상 수렴속도 개선을 위한 가상환경 기반의 DQN 모델
Proceedings of KIIT Conference
2020 .10
-
DQN을 적용한 심층강화학습 기반 로봇팔 밀기 및 파지
한국기계가공학회 춘추계학술대회 논문집
2023 .04
-
DQN 기반 비디오 스트리밍 기법의 뉴럴 네트워크 모델별 성능 비교
한국정보과학회 학술발표논문집
2018 .12
-
단일교차로의 DQN 기반 강화학습의 최적 보상 방안 연구
대한교통학회 학술대회지
2022 .04
-
DQN 강화학습 기반 EV 무선전력 최적 코어 구조 설계
전력전자학회 학술대회 논문집
2022 .11
-
스마트 팩토리 구축을 위한 동적인 환경에서의 DQN 강화 학습 기반 로봇 최적 이동 경로 탐색
한국통신학회 학술대회논문집
2019 .06
-
5G 네트워크에서의 에너지 효율을 고려한 DQN 기반 자원 할당 기법
한국정보과학회 학술발표논문집
2018 .06
-
5G 환경에서 DQN 기반 적응형 비디오 스트리밍 시스템의 성능 분석
한국통신학회 학술대회논문집
2020 .08
-
분할 배치 앙상블 DQN
한국통신학회 학술대회논문집
2023 .02
-
저궤도 위성 DQN 라우팅 성능분석 연구
한국통신학회 학술대회논문집
2023 .06
-
Success Memory 및 Regeneration-set Training을 도입한 DQN 기반 아날로그 회로 설계 최적화 알고리즘
전자공학회논문지
2025 .03
-
DQN기반 테이블 균형맞춤 협력 로봇 기술 개발
한국정보과학회 학술발표논문집
2020 .12
-
시뮬레이션 환경에서의 DQN을 이용한 강화 학습 기반의 무인항공기 경로 계획
반도체디스플레이기술학회지
2017 .01
-
단말간 직접 통신 네트워크를 위한 심층 강화학습 기반 분산적 스케쥴링 알고리즘
한국정보통신학회논문지
2020 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2019-567-001254174