인공지능 등 고도화된 기술의 집약체인 자율주행차가 도입됨에 따라 교통사고 감소, 이동성 증대 등 다양한 긍정적인 효과가 기대되어 국가적으로 상용화를 위한 제도 및 기반을 정비하고 있다. 그러나 일반 자동차와의 혼재 상황으로 예상하지 못한 사고 상황이 발생할 수 있어 기술의 진보만으로는 실제 도로 위를 주행하는 자율주행차의 안전성을 담보할 수 없는 실정이다. 이에 따라 자율주행차 운행 안전성을 평가할 수 있는 NCAP이 진행되고 있으며, 그 중 현실을 다양하게 반영할 수 있는 시나리오 기반의 평가 방법이 대두되고 있다. 시나리오 기반 안전성 평가는 다양한 환경을 고려하여 정교하게 설계된 모든 시나리오를 다를 수 있어 자율주행차 안전성의 종합적인 평가를 가능하게 하는 장점이 존재한다. 시나리오 접근법의 경우 전문가 지식을 통해 빠르게 시나리오를 생성할 수 있는 지식기반 접근법과 실제 데이터 및 머신러닝을 활용하여 대표성을 확보할 수 있는 데이터 기반 접근법으로 구분할 수 있다. 지식기반 접근법의 경우 온톨로지 기법을 통해 빠르게 시나리오 카탈로그를 생성할 수 있으나 시나리오의 대표성의 한계가 존재하여 데이터 기반 접근법에 관한 연구가 다양하게 활용되고 있다. 그러나 데이터 기반 접근법 관련 연구에서 기존 데이터 및 인공지능을 활용하여 시나리오를 제시하고 있으나, 주변 차량 속성을 추출하지 못하는 데이터적 한계와 모델 자체를 설명할 수 없는 인공지능적 한계, 시나리오 제시가 아닌 모델 정확도에 초점이 맞춰져 있는 연구적 한계가 존재하는 실정이다.
이에 본 연구에서는 고속도로 및 도심부 환경에서의 자율주행차 안전성을 평가하는 시나리오 생성을 위해 기존 제시된 데이터 기반 접근법에서 나아가 다양한 환경 및 주변 객체 파라미터를 고려할 수 있는 LiDAR 데이터를 토대로 시나리오 대표성, 확장성, 범용성, 그리고 블랙박스 호환성까지 고려한 XAI 기반의 설명가능한 시나리오를 제시하고자 한다. 이를 위해 본 연구는 실제 주행 데이터를 수집하여 3D-LiDAR PCD를 voxel화하여 운동역학 속성을 추출하고, 이를 기반으로 완결성을 보장하고자 XAI 방법론인 ViT 및 SHAP을 도입하여 시나리오의 설명력을 증대시켜 완전한 테스트용 시나리오를 제시한다.
프로브 차량을 통해 고속도로와 도심부에서 수집한 실주행 데이터 중 3D-LiDAR PCD를 voxel 규격으로 분할하고, 주변 객체들의 운동역학적 속성을 추출하였다. 총 14가지 속성을 CVL-ViT 모델의 입력 데이터로 사용하여 고속도로, 도심부의 사고취약상황을 분류하였다. 학습 결과, 고속도로 모델의 경우 99% 정확도 및 F1-score로 확인되었으며, 도심부 모델의 경우에도 96% 정확도 및 95% F1-score가 확인되었다. 보다 자세히 시각적으로 설명하기 위해 혼동행렬 결과에 따른 데이터를 Attention map으로 표출하였다. 고속도로 및 도심부에서 공통적으로 0.6∼0.8 수준의 Attention score가 나타날 경우 사고 취약상황으로 분류하였으며, 0.1∼0.3 수준의 score가 지속될 경우 일반상황으로 분류되는 것으로 확인되었다.
CVL-ViT에서 시각적인 설명력을 확보한 이후, 모델 및 변수 자체의 설명력을 확보하기 위해 SHAP 모델을 활용하였다. CVL-ViT와 같이 SHAP 학습 또한 고속도로와 도심부를 각각 진행하였으며, 전역 설명과 국소 설명을 위한 그래프를 표출하였다. SHAP 학습 결과, 고속도로에서는 위치를 나타내는 z좌표, y좌표, 점의 개수가 가장 중요한 변수였으며 거리, 종방향 속도, 가속도가 그 뒤를 이었다. 반면 도심부의 경우 y좌표 및 종방향 속도가 가장 중요한 것으로 확인되었다. 이는 고속도로와 도심부의 환경 차이로 인한 결과로 사료되며, 상대적으로 고속도로는 차량 이외에 고려할 객체가 적어 위치에 대한 정보가 보다 중요하고, 도심부는 차량 이외에 보행자, 자전거 등 고려해야할 객체가 많이 존재하여 위치와 객체 속도을 함께 고려할 필요가 있어 이와 같은 결과가 도출된 것으로 판단된다.
최종적으로 학습한 두 가지 모델인 CVL-ViT, SHAP 모델을 활용하여 자율주행차 안전성 평가용 시나리오 생성 프레임워크를 제시하였다. 프레임워크는 활용한 데이터 및 학습결과를 토대로 Functional, Logical, Concrete 시나리오를 모두 생성할 수 있는 방안이 포함되어있다. 첫 번째, Functional 시나리오 생성은 카메라 데이터와 상황설명서가 요구된다. 이를 활용하여 사고 취약상황을 유발하는 차량의 종류, 차량의 위치 등 전체적인 상황을 파악하여 Functional 시나리오를 생성한다. 둘째, Logical 시나리오 생성은 CVL-ViT를 학습시켜 Attention map을 표출하고 특정 상황의 사고 취약 복셀을 확인한다. 취약 복셀의 3D-LiDAR Voxel 운동역학 속성을 확인하고 Functional 시나리오를 기반으로 Logical 시나리오를 생성한다. 셋째, Concrete 시나리오 생성 및 선별은 SHAP 학습 결과로 도출된 중요 변수를 3D-LiDAR Voxel 운동역학 속성에서 선정하고 Attention score와 함께 Concrete 시나리오 후보군을 생성한다. 이후, SHAP 학습 결과에 기반하여 Concrete 시나리오 선정 기준을 추가 설정하여 최종적인 Concrete 시나리오를 제시한다. 제시한 프레임워크에 따라 본 연구에서는 CVL-ViT에서 사고취약상황으로 분류된 예시를 토대로 전체적인 시나리오를 생성하였다. 최종적으로 고속도로 concrete 시나리오를 37개 생성하였으며, 최종적으로 8개의 시나리오를 선정하였으며, 도심부는 41개 중 9개를 최종 시나리오로 선정하였다.
본 연구는 자율주행차 안전성 평가 시나리오를 생성하기 위해 실제 데이터를 수집하고 LiDAR 및 voxel 개념을 활용하여 주변 차량의 운동역학 속성을 추출한 것에 기여점이 존재한다. 또한, 시나리오 특성상 안전성 평가에 직결되는 접근법이므로, 기존 데이터 기반 접근법의 한계인 시나리오 설명력(신뢰성)의 부재를 파악하고 ViT 및 SHAP와 같은 XAI를 도입하여 이를 보완한 것에 의의가 있다. 본 연구는 자율주행차 안전성 평가 시나리오의 설명력을 확보할 수 있는 기초자료로 활용될 수 있으며, 이를 통해 자율주행차 상용화를 위한 운행 안전성, 신뢰성을 보장할 수 있을 것으로 기대된다.

Autonomous Vehicles (AVs) are on the cusp of commercialization, prompting global governments to organize the forthcoming mobility phase. However, the advancement of technology alone cannot guarantee the successful commercialization of AVs, because nobody knows what happen any accident on the real road with Human-driven Vehicle (HV). To address these issues, The New Car Assessment Program (NCAP) is currently progress, and scenario-based approach have been spotlighted. Scenario approaches offer a unique advantage by evaluating AV driving safety through carefully designed scenarios that reflect various real-world situations. These scenario approaches can be categorized into Knowledge-based approach and Data-driven approach. The knowledge-based approach can fast generate the catalogs using expertise but lacks representativeness of scenarios. On the other hand, the data-driven approach ensures the representativeness of scenarios but requires prerequisites such as, data availability, data preprocessing and AI model handling techniques. Despite these challenges, most scenario studies favor the Data-driven approach. However, the previous studies have several lacks, including data, AI model, and research constraints. Hence, an integrated framework for generating scenarios is essential for reliable and robust autonomous driving. This dissertation proposes a methodology to overcome the various limitations in existing scenario research.
The proposed framework is an explainable scenario generating framework based on eXplainable AI (XAI) using LiDAR data. It considers the parameters of surrounding objects in various environments, including freeway and urban roads.
The proposed framework consists of: 1) preprocessing and voxelizing LiDAR data to extract kinetic features capable of considering surrounding objects’ parameters, 2) classifying critical situations and generating attention maps using the Vision Transformer (ViT) to visually identify critical situations, 3) investigating the importance and relationships among input data features using SHapley Additive exPlanations (SHAP), enabling the selection of scenarios based on specific criteria, 4) generating AV safety assessment scenarios using kinetic data, ViT results, and SHAP analysis.
The proposed framework provides an integrated solution for generating trustworthy AV safety scenarios while offering explanations for the scenario selection process. By generating scenarios and conducting assessment, this framework can enhance the safety and trustworthiness of AVs on the road.