강화학습을 이용한 다중 교차로에서의 신호 최적화 :Traffic signal optimization for multiple intersections based on reinforcement learning

구자운

추천

검색

자료유형: 학위논문

저자정보: 구자운 (서울시립대학교, 서울시립대학교 일반대학원)

지도교수: 전철민

발행연도: 2022

저작권: 서울시립대학교 논문은 저작권에 의해 보호받습니다.

이용수146

이 논문의 연구 히스토리 (4)

2022

강화학습을 이용한 다중 교차로에서의 신호 최적화

구자운 공간정보공 2022.01 학위논문

2021

딥러닝을 이용한 다중 교차로에서의 교통 신호 제어

구자운 , 이민혁 , 전철민 대한공간정보학회 학술대회 2021.11 학술대회자료

딥러닝을 이용한 교차로 신호 제어

구자운 , 이민혁 , 전철민 대한공간정보학회 학술대회 2021.06 학술대회자료

2020

강화학습을 이용한 교차로 신호 최적화

구자운 , 이민혁 , 전철민 대한공간정보학회 학술대회 2020.06 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

대도시권의 교통체증은 많은 사회적, 경제적 문제를 초래한다. 길어진 주행시간으로 인한 운전자의 피로도 증가와 더불어 차량의 배기가스 증가와 불필요한 연료 소모는 환경적으로도 악영향을 미친다. 교통신호 제어는 차량의 지체, 정지 횟수 등을 최소화할 수 있는 신호제어변수를 결정하여 교통정체를 감소시키는 것을 목적으로 한다. 기존의 신호제어시스템은 일정 시간 동안 관측한 교통량, 차량의 평균 속도 등을 신호 제어 이론에 기반하여 교통혼잡을 최소화할 수 있는 신호패턴을 연산하는 방식이다.
최근에는, 딥러닝 기술을 활용한 연구들이 제안되고 있다. 현실의 교통흐름을 미시적으로 반영하여 최적화를 수행하는 고차원적인 수식 모델을 설계하는 것은 매우 높은 복잡도가 요구된다. 이로 인해 몇 가지 가정과 집계된 데이터를 이용하는 단순화된 교통모델이 신호제어에 적용되었고, 대도시권의 도로망에서는 유의한 성능을 발휘하기 어려운 한계를 여러 연구에서 언급하였다.
인공지능이 데이터를 학습하여 신호제어를 수행하는 딥러닝 기술은 앞서 언급한 기존의 교통모델과 같은 경험적 모델의 한계를 극복하는 사례가 다수 발표되었다. 특히, 교통흐름을 최적화하는 문제는 정답이 주어지지 않기 때문에 지도학습으로 해결할 수 없고 주어진 환경에서 탐험을 통해 최적해를 찾는 강화학습 알고리즘이 적합하다. 강화학습을 이용한 다양한 방식의 신호제어 연구가 수행되었으나 대부분의 연구에서 지체를 최소화하는 것을 목표로 하는 등, 수학적인 최적화에 초점을 두고 현실에 적용하기 어려운 신호 패턴을 도출하였다.
이에 본 연구는 제약조건을 고려한 강화학습 기반의 신호 최적화 모델을 제안한다. 제안하는 모델은 Deep Q-network 알고리즘을 기반으로, 운전자들의 주행특성을 고려할 수 있도록 일정한 현시 순서를 유지하고 최소녹색시간을 부여한다. 이를 통해 한 주기에 모든 현시가 한 번은 켜질 수 있도록 모델에 제약조건을 적용하고 학습을 진행한다. 학습이 완료된 모델은 TOD(Time of day)기반의 고정형 방식, 반감응 신호제어 방식, 제약조건이 고려되지 않은 강화학습 기반 모델과 대기시간, 정지 횟수 등의 MOE(Measure of effectiveness)를 다양한 도로 형태와 교통량을 대상으로 비교, 분석한다.

Traffic congestion in metropolitan areas causes many social and economic problems. In addition to the increase in driver fatigue due to the long driving time, the increase in vehicle exhaust gas and unnecessary fuel consumption also adversely affects the environment. The purpose of traffic signal control is to reduce traffic congestion by determining signal control variables that can minimize vehicle delays and the number of stops. The existing signal control system is based on the signal control theory using the traffic volume and average speed of vehicles observed for a certain period of time.
Recently, studies on traffic signal control using reinforcement learning have been proposed. Optimization by applying real traffic flows microscopically requires high complexity to design high-dimensional mathematical models. For this reason, simplified traffic models using several assumptions and aggregated data have been applied to signal control studies. Several studies have mentioned the limitations of this method in that it is difficult to solve traffic congestion when targeting a wide area road network.
This study proposes the reinforcement learning-based signal optimization model considering some constraints; the proposed model have constraints that the sequence of the phases is maintained and actions such as returning to the previous phase or skipping the next phase are impossible. In addition, the model included a minimum green time, therefore, every phase must be active once per signal cycle.
The microscopic simulation environment was implemented by using Simulation of Urban MObility (SUMO). The model received the realtime traffic flow of the intersection as a state. Based on this, the action determined by the model was implemented at the intersection by SUMO’s signal controller. Traffic flow changed due to signal control was delivered to the model as a reward. By repeating this process, the model learned an optimized signal pattern that minimized traffic congestion, such as the vehicles’ delay and the number of stops. The reinforcement learning model was designed based on Deep Q-network (DQN).
The performance of the proposed model was compared with a fixed-time signal control model, a semi-actuated signal control model, and a reinforcement learning-based model without constraints. The delay and number of stops were used for evaluation, and simulations were performed in scenarios with different road network structures.

#강화학습 #교통신호 최적화 #다중교차로 #Deep Q-network #SUMO

제1장 서 론 1
제1절 연구 배경 1
제2절 연구 목적 5
제2장 이론적 배경 및 선행 연구 고찰 7
제1절 강화학습 알고리즘 7
제2절 강화학습 기반 신호 제어 관련 연구 8
제3장 강화학습 기반 신호 최적화 방법론 10
제1절 개요 10
제2절 강화학습 알고리즘 구성 12
1. 상태 12
2. 행동 13
3. 보상 13
4. 신경망 15
제4장 시뮬레이션 16
제1절 시나리오 개요 16
제2절 시나리오별 시뮬레이션 24
1. 시나리오 1 24
2. 시나리오 2 29
3. 시나리오 3 34
4. 시나리오 4 42
제5장 결론 68
참고 문헌 70
ABSTRACT 73
감사의 글 75

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (4)

초록· 키워드

목차

최근 본 자료

댓글(0)