지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 문철
- 발행연도
- 2022
- 저작권
- 한국교통대학교 논문은 저작권에 의해 보호받습니다.
이용수8
이 논문의 연구 히스토리 (3)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
3GPP가 release 14에서 표준화한 LTE(long term evolution) Cellular-V2X(cellular vehicle-to-everything)는 PC5 인터페이스를 사용하여 차량 간의 사이드링크 통신기술을 지원한다. 특히 mode 4는 셀룰러 인프라의 지원 없이 SB-SPS(sensing based-semi persistent scheduling) 알고리즘을 이용하여 독자적으로 무선자원을 선택한다. SB-SPS는 경쟁 기반 MAC(medium access control)이기 때문에 도로의 혼잡도가 높아지는 상황에서 무선자원을 선택하고자 하는 차량 간 경쟁이 심화 되어 패킷 충돌 및 패킷 손실 문제가 일어날 수 있다.
본 논문은 고속도로에서 차량으로 인해 도로가 과포화 상태에 있을 때 일어나는 이와 같은 문제를 해결하기 위해 강화학습 알고리즘인 DQN (Deep Q-Network)을 통해 각각의 차량마다 최적의 TTI(transmission time interval)를 조절하는 분산 혼잡제어(decentralized congestion control, DCC) 알고리즘을 제안한다.
C-V2X에서 사용하는 표준화된 분산 혼잡제어가 존재하지 않기에 본 논문에서는 DSRC(dedicated short range control)에서 사용되는 SAE(society automotive engineers) J2945/1의 이웃 차량 밀도와 밀도계수를 조절하는 TTI 제어식을 사용하는데 이웃 차량 밀도는 주변 차량의 CAM(cooperative awareness message) 정보를 이용하여 구할 수 있는 반면에 밀도계수는 SAE J2945/1에서 25로 지정하여 사용한다. 따라서 이 밀도계수를 DQN을 통해 학습하여 상황에 따라 유연하게 TTI를 조절한다. DQN은 딥러닝을 사용하여 상황에 옳은 TTI를 했는지 판단기준이 되는 가치함수를 추정하고 올바른 값을 도출해내도록 파라미터를 업데이트하며 환경을 배워나가는 가치 기반 강화학습 알고리즘이다.
이렇게 학습된 제안하는 알고리즘의 모델과 SAE J2945/1 알고리즘을 PDR(packet delivery ratio) 과 평균 IPG(inter packet gap) 측면에서 비교하였고 제안된 기법이 기존 알고리즘보다 높은 성능을 보여주는 것을 시뮬레이션 결과로 입증하였다. 시뮬레이션은 2km 왕복 8차선 도로 내의 각각 400대, 500대, 600대의 차량이 자원할당을 시도할 때의 결과이며 또한 변동성이 있는 도로 환경을 고려하여 시뮬레이션의 차량 혼잡도에 변화를 주며 학습하여 이를 차량 밀도를 고정하여 학습한 알고리즘과도 비교 분석한다.
제안하는 분산혼잡제어의 DQN은 단일혼잡도에서 학습한것과 여러 혼잡도에서 학습한 알고리즘이 있다. 단일 혼잡도 400일 때 기존 알고리즘보다 PDR, 평균 IPG 측면에서 높은 이득을 보이며 차량 밀도 500, 600일때도 특정 송, 수신 차량 거리에서 PDR이 낮은 값을 가지지만 두 성능 지표로 보았을 때 J2945/1보다 높은 성능을 보인다.
하지만 실제 도로 상황에선 차량 밀도를 고정한 상태로 학습한 DQN 모델은 제대로 혼잡도가 달라지면 전송주기를 최적으로 조절하지는 못하기 때문에 adaptive DQN을 제안한다. adaptive DQN은 높은 밀도로 고정하고 학습한 모델의 PDR 성능이 더 높지만 평균 IPG와 PDR 두 성능 지표를 모두 고려하면 제안하는 알고리즘이 기존의 J2945/1보다 성능 우위를 보인다.
본 논문은 고속도로에서 차량으로 인해 도로가 과포화 상태에 있을 때 일어나는 이와 같은 문제를 해결하기 위해 강화학습 알고리즘인 DQN (Deep Q-Network)을 통해 각각의 차량마다 최적의 TTI(transmission time interval)를 조절하는 분산 혼잡제어(decentralized congestion control, DCC) 알고리즘을 제안한다.
C-V2X에서 사용하는 표준화된 분산 혼잡제어가 존재하지 않기에 본 논문에서는 DSRC(dedicated short range control)에서 사용되는 SAE(society automotive engineers) J2945/1의 이웃 차량 밀도와 밀도계수를 조절하는 TTI 제어식을 사용하는데 이웃 차량 밀도는 주변 차량의 CAM(cooperative awareness message) 정보를 이용하여 구할 수 있는 반면에 밀도계수는 SAE J2945/1에서 25로 지정하여 사용한다. 따라서 이 밀도계수를 DQN을 통해 학습하여 상황에 따라 유연하게 TTI를 조절한다. DQN은 딥러닝을 사용하여 상황에 옳은 TTI를 했는지 판단기준이 되는 가치함수를 추정하고 올바른 값을 도출해내도록 파라미터를 업데이트하며 환경을 배워나가는 가치 기반 강화학습 알고리즘이다.
이렇게 학습된 제안하는 알고리즘의 모델과 SAE J2945/1 알고리즘을 PDR(packet delivery ratio) 과 평균 IPG(inter packet gap) 측면에서 비교하였고 제안된 기법이 기존 알고리즘보다 높은 성능을 보여주는 것을 시뮬레이션 결과로 입증하였다. 시뮬레이션은 2km 왕복 8차선 도로 내의 각각 400대, 500대, 600대의 차량이 자원할당을 시도할 때의 결과이며 또한 변동성이 있는 도로 환경을 고려하여 시뮬레이션의 차량 혼잡도에 변화를 주며 학습하여 이를 차량 밀도를 고정하여 학습한 알고리즘과도 비교 분석한다.
제안하는 분산혼잡제어의 DQN은 단일혼잡도에서 학습한것과 여러 혼잡도에서 학습한 알고리즘이 있다. 단일 혼잡도 400일 때 기존 알고리즘보다 PDR, 평균 IPG 측면에서 높은 이득을 보이며 차량 밀도 500, 600일때도 특정 송, 수신 차량 거리에서 PDR이 낮은 값을 가지지만 두 성능 지표로 보았을 때 J2945/1보다 높은 성능을 보인다.
하지만 실제 도로 상황에선 차량 밀도를 고정한 상태로 학습한 DQN 모델은 제대로 혼잡도가 달라지면 전송주기를 최적으로 조절하지는 못하기 때문에 adaptive DQN을 제안한다. adaptive DQN은 높은 밀도로 고정하고 학습한 모델의 PDR 성능이 더 높지만 평균 IPG와 PDR 두 성능 지표를 모두 고려하면 제안하는 알고리즘이 기존의 J2945/1보다 성능 우위를 보인다.
목차
Ⅰ. 서 론 1Ⅱ. 3GPP LTE Cellular-V2X 31. C-V2X Mode 4의 채널 구조 42. C-V2X Mode 4 MAC(medium access control) 계층 7Ⅲ. 기존의 분산 혼잡제어 111. SAE J2945/1 분산 혼잡제어 112. LTE V2X를 위한 CBR기반 분산 혼잡제어 13Ⅳ. 멀티 에이전트와 DQN 151. DQN 152. CTDE 18V. 제안하는 DQN 기반 분산 혼잡제어 알고리즘 191. DQN 기반 분산 혼잡제어 202. 다양한 혼잡도에 적응하는 DQN 기반 분산 혼잡제어 23Ⅵ. 시뮬레이션 성능 분석 및 비교 261. 시뮬레이션 주요 파라미터 262. 단일 혼잡도에서 DQN 기반 분산 혼잡제어 성능 분석 283. adaptive DQN 분산 혼잡제어 성능 분석 363-1. 차량밀도 400에서 학습, 600에서 실행한 모델의 성능 363-2. 차량밀도 600에서 학습, 400에서 실행한 모델의 성능 393-3. 차량밀도 400, 600에서 학습, 500에서 실행한 모델의 성능 42Ⅶ. 결론 45참고문헌 46abstract 49
최근 본 자료
댓글(0)
0