본 논문에서는 영상 품질 개선을 위해 학습된 사전 기반 초해상도 결과 에 대해 손실 영역을 분석하고, 분석된 손실 영역에 따라 학습 데이터를 매핑하는 방법을 제안하였다. 영상처리에서 초해상도 생성 방법은 보간 기반의 방법과 예제 기반의 방법 등이 있다. 보간 기반의 방법은 새로운 화소의 값 생성 과정에서 참조할 수 있는 정보가 부족하여 정보의 손실로 인해 경계 부분에서 계단현상이나 흐려짐 등의 정확성이 떨어지는 문제가 있다. 예제 기반의 방법은 다른 영상을 학습하거나 입력 영상을 자체적으로 분석하여 구성한 사전 데이터를 활용함으로써 부족한 정보를 보충하는 방법으로 초해상도 결과를 개선하였다. 그러나 입력 영상으로부터 분석한 특징 구성에 의해 선택된 학습 데이터를 이용하여 새로운 화소 값을 생성하기 때문에 학습 영상에 따라 입력 영상의 특징 구성과 다른 결과가 나타날 수 있으며, 의도하지 않은 인공물이 발생할 수 있다.
제안하는 방법은 저해상도에서 초해상도 생성 시 추가적인 정보를 활용할 수 있는 예제 기반의 방법을 이용하여 손실된 세부 정보를 복원하였다. 이후 예제 기반의 초해상도 과정에서의 일치하지 않는 특징 구성과 의도하지 않은 인공물 발생을 줄이기 위해 복원된 내용을 분석함으로써 저해상도 영상의 손실 정보를 추정하였다. 추정된 손실 정보의 잡음과 화소 불균형을 가우시안 기반의 커널을 이용해 개선한 최종 보간 특징 맵에 따라 학습 데이터를 매핑함으로써 기존의 초해상도 대비 잡음과 인공물, 계단현상이 개선된 초해상도를 생성하였다.
제안된 방법을 수행하기 위해 먼저 예제 기반의 초해상도를 수행할 수 있도록 학습 데이터를 생성하였다. 학습할 고해상도 영상 데이터베이스로부터 저해상도 영상을 생성하고 각각의 고해상도 영상과 저해상도 영상으로부터 경계 및 고주파의 특징을 추출한 뒤 패치 단위의 영역으로 분할한 특징 맵인 고해상도 패치와 저해상도 패치를 한 쌍으로 구성함으로써 학습 사전 정보를 구성하였다. 학습된 사전 정보를 이용하여 영상의 품질을 개선하기 위해 먼저 입력 영상을 목표하는 확대 크기로 쌍입방 보간법을 이용하여 보간하였다. 쌍입방 보간법 결과 영상의 경계와 고주파 영역을 추출하여 입력 영상에 대한 특징 맵을 생성하였다. 입력 영상에 대한 특징 맵과 대응하는 학습된 데이터에서의 저해상도 특징 영역을 탐색하고, 탐색된 저해상도 패치와 한 쌍으로 구성했던 고해상도 패치를 탐색하였다. 탐색한 고해상도 패치를 이용하여 쌍입방 보간 영상의 손실된 세부정보를 복원하는 과정을 수행함으로써 학습 기반의 초해상도 영상을 생성하였다. 생성된 영상을 입력한 저해상도 영상의 크기로 하향 표본화를 수행한 뒤 입력 영상과 비교하여 손실 영역을 추출하였다. 추출된 손실 영역은 학습 기반의 초해상도 과정에서 학습데이터의 과적용으로 발생할 수 있는 화소 불균형이나 잡음이 존재할 수 있어 가우시안 기반의 커널을 이용하여 손실 정보 영상의 잡음과 유사 영역 내 화소 값의 불균형을 보완하였다. 보완된 영상을 다시 목표하는 확대 크기로 쌍입방 보간법을 수행하고, 보완 영역에 대해 경계, 고주파, 질감 영역의 특성을 참조하여 학습 데이터의 반영 비율을 결정하였다. 일반적으로 초해상도 생성 과정에서 경계 영역과 고주파 영역에서의 정보 손실이 비교적 큰 영향을 미침에 따라 부족한 정보를 보완하기 위해 학습 데이터를 높은 비중으로 활용하도록 하였고, 질감 영역과 같이 정보 손실의 양이 적어 학습 정보의 활용이 큰 영향을 미치지 않는 영역은 학습된 데이터로 부족한 정보를 보완하는 것이 아닌 원 영상의 데이터 위주로 새로운 화소의 값을 생성할 수 있도록 함으로써 각 영역에 적합한 형태의 새로운 화소 값 할당을 수행할 수 있도록 하였다. 그 결과 인공물 또는 계단현상과 같은 품질 저하 요소를 최소화하도록 하였다.
제안된 방법을 이용하여 생성된 고해상도 영상의 평가를 위해 기존의 초해상도 생성 알고리즘들과 제안된 방법의 결과를 고화질 영상과 비교하여 PSNR(Peak Signal to Noise Ratio) 결과에서는 4% 향상된 결과를, SSIM(Structural SIMilarity Index) 결과에서는 3% 향상된 결과를 보여줌으로써 기존의 방법에 비해 개선된 결과를 보여주는 것을 확인하였다.

This study analyzed loss areas on the previously built data basis super resolution results that were learned to improve a image quality and suggested the mapping method on learning data following the analyzed loss areas. There are conventional generation methods for super resolution images such as interpolation-based and example-based methods. The interpolation-based method has problems of a staircase phenomenon or blur to decrease accuracy due to lack of reference information during the process of generating new pixel values. The example-based method improves the super resolution results by complementing lacking information by utilizing previously built data that was made by learning other images or analyzing input images itself. However, as it generates new pixel values using data that was leaned by characteristic compositions analyzed from input images, the results may be different from input image characteristic compositions depending on the images for learning. Also, unintended artifacts may occur.
The study suggested the method of restoring loss of detailed information by using the example-based method that can use additional information when making super resolution images from low-resolution images. Afterwards, in order to decrease the characteristic compositions that are not in match with the super resolution process based on examples and unintended artifacts, the study estimated information loss of low-resolution images by analyzing the restored contents. By mapping learning data following the final interpolated characteristic map that improved noises and pixel imbalances of estimated data loss using Gaussian based kernel, super resolution images were created that are improved with noises, artifacts and staircase phenomena compare to the conventional super resolution images.
In order to conduct the suggested method, the study first generated learning data to allow the example-based super resolution images can be created. The low-resolution images were created from the high-resolution image database for learning and then boundary as well as high-frequency characteristics were extracted from both the high-resolution images and low-resolution images. By composing high-resolution patches and low-resolution patches, characteristics maps divided into patch areas, as pairs, the study created dictionary data.
In order to improve the image qualities using the dictionary data that were learned, the input images were interpolated first into the size that the study intended using a bicubic interpolation method. Its result created characteristic maps on the interpolated input images by extracting image boundaries and high-frequency areas. The study explored low-resolution characteristic areas in the learning data that are corresponding to input images and high-resolution patches that were paired with the explored low-resolution patches. Using the explored high-resolution patches, learning-based super resolution images were created by processing the lost details of the bicubic interpolation images. The created images then entered into a low-resolution image size for a down sampling and those images were used to compare with the input images to extract the lost areas. Because the extracted lost areas may contain pixel imbalances or noises that could happen by over application of learning data in the process of making super resolution images based on learning, such noises of the lost information image and pixel imbalances in the similar areas were complemented using the Gaussian based kernel. The bicubic interpolation was carried out to resize the interpolated images into the target size and the applying rate of learning data was decided by referencing complementing area boundaries, high-frequencies and texture area characteristics. As the information loss in the boundary and high-frequency areas impacts a lot to the process of making super resolution images, learning data were highly used to complement lacking information. As for the areas like texture that have low impacts from using learning data because of their less information loss, the study enabled the areas to create new pixel values that are oriented to the original data, not complement the lacking areas with learning data. By doing so, new pixel values that are optimized to each area were provided. This minimized factors that undermine qualities such as artifacts or staircase phenomena.
In order to evaluate high-resolution images created by the suggested method, results created by the conventional super resolution image making algorithm and the suggested method are compared and measured using the Peak Signal to Noise Ratio (PSNR) and Structural SIMilarity Index (SSIM). The results showed that compare to the conventional method, the suggested method showed 4% increase in the PSNR and 3% increase in the SSIM, confirming that the suggested method improved the quality more than the conventional one.