본 논문은 모바일 기반의 실시간 영상 측위 기술 개발을 목표로 사용자가 촬영한 사진과 가상의 텍스쳐영상 간의 매칭 가능성 확인 연구로 특징점 기반의 매칭 알고리즘의 조합 성능을 비교했다. 특징점 기반의 매칭 알고리즘은 특징점(feature)을 추출하는 과정과 추출된 특징점을 설명하는 서술자(descriptor)를 계산하는과정, 최종적으로 서로 다른 영상에서 추출된 서술자를 매칭하고, 잘못 매칭된 특징점을 제거하는 과정으로 이루어진다. 이때 매칭 알고리즘 조합을 위해, 특징점을 추출하는 과정과 서술자를 계산하는 과정을 각각 같거나다르게 조합하여 매칭 성능을 비교하였다. 가상 실내 텍스쳐 영상을 위해 V-World 3D 데스크탑을 활용하였다.
현재 V-World 3D 데스크톱에서는 수직 · 수평적 돌출부 및 함몰부와 같은 디테일이 보강되었다. 또한, 실제 영상 텍스쳐가 입혀진 레벨로 구축되어 있어, 이를 활용하여 가상 실내 텍스쳐 데이터를 기준영상으로 구성하고,동일한 위치에서 직접 촬영하여 실험 데이터셋을 구성하였다. 데이터셋 구축 후, 매칭 알고리즘들로 매칭 성공률과 처리 시간을 측정하였고, 이를 바탕으로 매칭 성능 향상을 위해 매칭 알고리즘 조합을 결정하였다. 본 연구에서는 매칭 기법마다 가진 특장점을 기반으로 매칭 알고리즘을 조합하여 구축한 데이터셋에 적용해 적용가능성을 확인하였고, 추가적으로 회전요소가 고려되었을 때의 성능 비교도 함께 수행하였다. 연구 결과, ScaleInvariant Feature Transform (SIFT)의 feature와 descriptor 조합이 가장 매칭 성공률이 좋았지만 처리 소요 시간이가장 큰 것을 확인할 수 있었고, Features from Accelerated Segment Test (FAST)의 feature와 Oriented FAST andRotated BRIEF (ORB)의 descriptor 조합의 경우, SIFT-SIFT 조합과 유사한 매칭 성공률을 가지면서 처리 소요시간도 우수하였다. 나아가, FAST-ORB의 경우, 10°의 회전이 데이터셋에 적용되었을 때에도 매칭 성능이 우세함을 확인하였다. 따라서 종합적으로 가상 텍스쳐 영상과 실영상간 매칭을 위해서 FAST-ORB 조합의 매칭알고리즘이 적합한 것을 확인할 수 있었다
This paper compares the combination performance of feature point-based matchingalgorithms as a study to confirm the matching possibility between image taken by a user and a virtualtexture image with the goal of developing mobile-based real-time image positioning technology. Thefeature based matching algorithm includes process of extracting features, calculating descriptors,matching features from both images, and finally eliminating mismatched features. At this time, formatching algorithm combination, we combined the process of extracting features and the process ofcalculating descriptors in the same or different matching algorithm respectively. V-World 3D desktopwas used for the virtual indoor texture image. Currently, V-World 3D desktop is reinforced with detailssuch as vertical and horizontal protrusions and dents. In addition, levels with real image textures. Usingthis, we constructed dataset with virtual indoor texture data as a reference image, and real image shootingat the same location as a target image. After constructing dataset, matching success rate and matchingprocessing time were measured, and based on this, matching algorithm combination was determinedfor matching real image with virtual image. In this study, based on the characteristics of each matchingtechnique, the matching algorithm was combined and applied to the constructed dataset to confirm theapplicability, and performance comparison was also performed when the rotation was additionallyconsidered. As a result of study, it was confirmed that the combination of Scale Invariant FeatureTransform (SIFT)’s feature and descriptor detection had the highest matching success rate, but matchingprocessing time was longest. And in the case of Features from Accelerated Segment Test (FAST)’sfeature detector and Oriented FAST and Rotated BRIEF (ORB)’s descriptor calculation, the matchingsuccess rate was similar to that of SIFT-SIFT combination, while matching processing time was short.
Furthermore, in case of FAST-ORB, it was confirmed that the matching performance was superior even when 10° rotation was applied to the dataset. Therefore, it was confirmed that the matchingalgorithm of FAST-ORB combination could be suitable for matching between virtual texture imageand real image.