심혈관 질환의 진단, 계획 수립 및 치료를 위해서는 혈관의 형태와 내부를 시각적으로 볼 수 있는 영상이 필요하다. XA(X-ray Angiography) 영상은 실시간으로 혈관의 내부를 시각적으로 보여줄 수 있다는 장점으로 인하여 보편적으로 사용되는 의료 영상 기법이다. 하지만, XA 영상은 배경의 혼란과 투영 과정에서 깊이(Depth)정보 손실이 발생하여 정확한 구조 파악이 어려우며, 혈관 가시화를 위해 사용되는 조영제는 심장 박동과 함께 빠른 속도로 사라지기 때문에 한시적 영상 획득만이 가능하다는 단점이 존재한다. 이러한 단점으로 진단 및 치료 계획 수립을 위해 3D CTA(Computed Tomography Angiography) 영상이 활용되고 있으며, 치료 과정에서도 보다 정확한 정보 획득을 위한 보조 영상 및 기술의 필요성이 증가하고 있다. 하지만 심혈관 치료는 보편적으로 관생동맥 중재술(Percutaneous Coronary Intervention, PCI)이 시행되며, 이러한 시술 환경에서의 보조 영상은 획득의 한계가 존재한다. 이에 본 논문에서는 이러한 단점들을 보완하는 시술보조 기술 제공을 위하여 시술 중 획득되는 2D XA 영상과 시술 전 획득되는 3D CTA 영상의 혈관 정보를 융합 가시화함으로써 진단, 계획 수립 및 치료의 정확성, 객관성, 효율성 향상을 가능하게 도와주는 의료 영상 분할 및 정합 기법을 제시한다.
먼저 XA 영상에서 컨볼루션 신경망과 위상학적 모델을 이용하여 정확하게 혈관 영역과 구조를 분할하는 기법을 제안한다. 컨볼루션 신경망은 학습(Training)을 통해2D XA 영상에 존재하는 장기, 뼈, 시술 기구 등으로 인한 배경의 혼란(Background Clutter)으로부터 강건하고 정확한 혈관 분할이 가능하다. 또한, 2D XA 영상의 부족한 3차원 깊이(Depth)정보 보완을 위해 3D CTA 영상의 혈관 위상 구조를 기반으로 2D XA 영상의 혈관 위상 구조를 재구성함으로써 유의미한 혈관 구조를 정확하게 추출할 수 있다.
다음으로 XA 영상과 CTA 영상으로부터 추출된 혈관의 강체 정합 기법을 제안한다. XA 영상이 촬영될 당시의 환경과 유사한 시뮬레이션(Simulation) 환경을 만들어 적용함으로써 서로 다른 모달리티(Modality) 영상의 공간적 차원 일치가 가능하며, 이를 기반으로 빠른 초기 정합이 가능하다. 제안 기법은 정밀 정합 과정에서 혈관의 해부학적 구조에 따른 중요도 값을 설정하여 활용함으로써 잘못된 국부 최소에 수렴할 확률을 낮추어 견고한 정합을 가능하게 한다.
마지막으로 XA 영상과 CTA 영상으로부터 추출된 혈관의 비강체 정합 기법을 제안한다. XA 영상과 CTA영상의 혈관의 위치와 형태는 환자의 자세, 심장 박동과, 호흡, 촬영 장비간의 프로토콜 등 기타 외부 요인으로 오차가 발생할 수 있다. 이러한 오차를 보완하기 위해 지역적 변형을 보정하여 정확하게 정합하는 기법을 제안한다. 제안 기법은 혈관의 복잡도를 낮추며 효율적으로 환자 데이터의 특성을 활용하기 위해 그래프 구조 기반의 위상구조를 비교 분석하고, 2D 혈관의 일부 부정확한 정보를 개선하기 위해 가능한 모든 연결 구조를 가정하여 대응관계 비교 검증을 추가로 수행함으로써 다중 모달리티(Multi-modality) 비강체 정합을 정확하게 수행할 수 있다.
본 논문에서 제안한 기법은 관상동맥 중재술 뿐 아니라 심혈관 질환의 진단, 치료 확인, 혈관 자동 Labeling, 추적(Follow-up) 검사와 연구 등을 위한 보조 영상으로도 활용될 수 있다. 또한, 심혈관 뿐 아니라 다른 혈관 혹은 혈관과 유사한 시술 및 수술 도구 등을 이용하는 응용 분야에 적용될 수 있다.

For diagnosis, planning, and treatment of cardiovascular disease, there is a need for images that to visually watch the morphology and interior of vessels. XA (X-ray Angiography) images are a commonly used medical imaging technique due to the advantage of being able to visually show the interior of vessels in real-time. However, the accurate vascular structure is very difficult to determine due to background clutter and loss of depth information of 2D projection. In addition, since a contrast agent used for vascular visualization disappears rapidly with the heartbeat, only temporary image acquisition is possible. For these drawbacks, 3D CTA(Computed Tomography Angiography) images are used for diagnosis and treatment planning. In the treatment process, there is an increasing requirement for guide images and techniques to obtain more accurate information. However, PCI(Percutaneous Coronary Intervention) is generally performed for cardiovascular treatment, and there is a limit to the acquisition of additional images in the surgical environment. In this paper, in order to compensate for these drawbacks, we propose the segmentation and registration methods for the fusion visualization of intraoperative 2D XA and preoperative 3D CTA images to improve the accuracy, objectivity and efficiency of diagnosis, planning and treatment.
First, we propose an extraction method of a vascular region and structure in 2D XA images based on CNN(Convolutional Neural Network) and topology information. CNN enables robust and accurate segmentation from background clutter caused by organs, bones and surgical instruments in 2D XA images. In addition, to compensate for lack of 3D depth information from 2D XA image, we can reconstruct the vascular structure of the 2D XA image based on the vascular structure of the 3D CTA image, and, by doing so, a significant vascular structure can also be accurately extracted.
Next, we propose a rigid registration method between intra-operative 2D XA and pre-operative 3D CTA images. By creating and applying a simulation environment that is similar to the moment when the XA images were obtained, it is possible to align the spatial dimension of different modality images, which enables rapid initial registration. The proposed method makes it possible to reduce registration errors that converge to the local minimum by utilizing importance values set up by the anatomical structure of vessels in a process of precision registration, and it leads to robust registration.
Finally, we propose a non-rigid registration method between intra-operative 2D XA and pre-operative 3D CTA images. There are differences in the location and shape of vessels between XA and CTA images caused by other external factors such as the patient''s posture, heartbeat, respiration, and protocols between imaging equipment. In order to compensate for the errors according to these differences, we propose a method for accurate registration through local deformations. In order to reduce the complexity of vessels and to effectively utilize the characteristics of patient data, the proposed method compares and analyzes the topological structure based on the graph structure. In addition, we also add a comparative verification of the correspondences assuming all possible connection structures to improve some inaccurate information on 2D blood vessels. As a result, multi-modality non-rigid registration can be performed accurately.
The method proposed in this paper can be used not only for PCI, but also for diagnosis, confirmation of treatment, automatic labeling of vessels, follow-up and research of the cardiovascular disease. It can also be applied to other procedures and surgical instruments which are related to blood vessels or something analogous to blood vessels.