지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회논문지 : 소프트웨어 및 응용 정보과학회논문지 : 소프트웨어 및 응용 제30권 제7·8호
- 발행연도
- 2003.8
- 수록면
- 672 - 680 (9page)
이용수
초록· 키워드
오류제보하기
shopbot이란 온라인상의 판매자로부터 상품에 대한 가격과 품질에 관한 정보를 자동적으로 수집함으로써 소비자의 만족을 최대화하는 소프트웨어 에이전트이다. 이러한 shopbot에 대응해서 인터넷상의 판매자들은 그들에게 최대의 이익을 가져다 줄 수 있는 에이전트인 pricebot을 필요로 할 것이다.
본 논문에서는 pricebot의 가격결정 알고리즘으로 비 모델 강화 학습(model-free reinforcement learning) 방법중의 하나인 Q-학습(Q-learning)을 사용한다. Q-학습된 에이전트는 근시안적인 최적(myopically optimal 또는 myoptimal) 가격 결정 전략을 사용하는 에이전트에 비해 이익을 증가시키고 주기적 가격 전쟁(cyclic price war)을 감소시킬 수 있다. Q-학습 과정 중 Q-학습의 수렴을 위해 일련의 상태-행동(state-action)을 선택하는 것이 필요하다. 이러한 선택을 위해 균일 임의 선택방법 (Uniform Random Selection, URS)이 사용될 경우 최적 값의 수렴을 위해서 Q-테이블을 접근하는 회수가 크게 증가한다. 따라서 URS는 실 세계 환경에서의 범용적인 온라인 학습에는 부적절하다. 이와 같은 현상은 URS가 최적의 정책에 대한 이용(exploitation)의 불확실성을 반영하기 때문에 발생하게 된다.
이에 본 논문에서는 보조 마르코프 프로세스(auxiliary Markov process)와 원형 마르코프 프로세스(original Markov process)로 구성되는 혼합 비정적 정책 (Mixed Nonstationary Policy, MNP)을 제안한다. MNP가 적용된 Q-학습 에이전트는 original controlled process의 실행 시에 Q-학습에 의해 결정되는 stationary greedy 정책을 사용하여 학습함으로써 auxiliary Markov process와 original controlled process에 의해 평가 측정된 최적 정책에 대해 1의 확률로 exploitation이 이루어질 수 있도록 하여, URS에서 발생하는 최적 정책을 위한 exploitation의 불확실성의 문제를 해결하게 된다. 다양한 실험 결과 본 논문에서 제한한 방식이 URS 보다 평균적으로 약 2.6배 빠르게 최적 Q-값에 수렴하여 MNP가 적용된 Q-학습 에이전트가 범용적인 온라인 Q-학습이 가능함을 보였다.
본 논문에서는 pricebot의 가격결정 알고리즘으로 비 모델 강화 학습(model-free reinforcement learning) 방법중의 하나인 Q-학습(Q-learning)을 사용한다. Q-학습된 에이전트는 근시안적인 최적(myopically optimal 또는 myoptimal) 가격 결정 전략을 사용하는 에이전트에 비해 이익을 증가시키고 주기적 가격 전쟁(cyclic price war)을 감소시킬 수 있다. Q-학습 과정 중 Q-학습의 수렴을 위해 일련의 상태-행동(state-action)을 선택하는 것이 필요하다. 이러한 선택을 위해 균일 임의 선택방법 (Uniform Random Selection, URS)이 사용될 경우 최적 값의 수렴을 위해서 Q-테이블을 접근하는 회수가 크게 증가한다. 따라서 URS는 실 세계 환경에서의 범용적인 온라인 학습에는 부적절하다. 이와 같은 현상은 URS가 최적의 정책에 대한 이용(exploitation)의 불확실성을 반영하기 때문에 발생하게 된다.
이에 본 논문에서는 보조 마르코프 프로세스(auxiliary Markov process)와 원형 마르코프 프로세스(original Markov process)로 구성되는 혼합 비정적 정책 (Mixed Nonstationary Policy, MNP)을 제안한다. MNP가 적용된 Q-학습 에이전트는 original controlled process의 실행 시에 Q-학습에 의해 결정되는 stationary greedy 정책을 사용하여 학습함으로써 auxiliary Markov process와 original controlled process에 의해 평가 측정된 최적 정책에 대해 1의 확률로 exploitation이 이루어질 수 있도록 하여, URS에서 발생하는 최적 정책을 위한 exploitation의 불확실성의 문제를 해결하게 된다. 다양한 실험 결과 본 논문에서 제한한 방식이 URS 보다 평균적으로 약 2.6배 빠르게 최적 Q-값에 수렴하여 MNP가 적용된 Q-학습 에이전트가 범용적인 온라인 Q-학습이 가능함을 보였다.
목차
요약
Abstract
1. 서론
2. SHOPBOT과 PRICEBOT 에이전트 경제 모델
3. 다중 에이전트 Q-학습
4. 범용적 온라인 Q-학습으로의 확장
5. 실험 및 성능평가
6. 결론 및 향후 연구
참고문헌
저자소개
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
변형된 볼쯔만 탐색 전략을 사용하는 강화학습 기반 지능형 에이전트
한국정보과학회 학술발표논문집
1999 .04
-
강화학습을 이용한 n-Queen 문제의 수렴속도 향상
한국지능시스템학회 논문지
2005 .02
-
영향력 분포도를 이용한 Q-학습
멀티미디어학회논문지
2006 .05
-
적대적 멀티 에이전트 환경에서 효율적인 강화 학습을 위한 정책 모델링
정보과학회논문지 : 소프트웨어 및 응용
2008 .03
-
불확실성 기반 상태 공간 학습 알고리즘을 이용한 Exploration-Exploitation 딜레마에 관한 연구
한국지능시스템학회 논문지
2017 .08
-
강화학습을 이용한 다중 에이전트 제어 전략
멀티미디어학회논문지
2003 .08
-
다중 에이전트 환경에서 효율적인 강화학습 시스템
한국정보과학회 학술발표논문집
2006 .10
-
Q-learning 강화학습을 이용한 가격 예측에 관한 연구
한국통신학회 학술대회논문집
2019 .06
-
자기주도적 학습을 위한 콘텐츠 재구성에 대한 연구
한국정보통신학회논문지
2011 .01
-
강화학습의 Q - learning을 위한 함수근사 방법
정보과학회논문지 : 소프트웨어 및 응용
2004 .11
-
웹 기반 학습을 위한 학습 시간 예측 모델
정보과학회논문지 : 소프트웨어 및 응용
2003 .10
-
토픽 맵을 이용한 학습 선호도 기반의 자기주도적 학습 시스템
한국항행학회논문지
2009 .01
-
Multi Behavior Learning of Lamp Robot based on Q-learning
디지털콘텐츠학회논문지
2018 .01
-
기계학습 기법을 가진 지능형 에이전트를 이용한 진화하는 u-Learning 설계
한국멀티미디어학회 학술발표논문집
2007 .05
-
협력학습 지원을 위한 에이전트 간의 의사소통 데이터 모델에 관한 연구
전자공학회논문지-CI
2011 .05
-
The database system for the MNP in Korea
ITC-CSCC :International Technical Conference on Circuits Systems, Computers and Communications
2005 .07
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2009-569-017872425