영상에서 잡음은 시각적인 왜곡이나 불편을 주는 것 외에도 영상 시스템에서 성능 저하를 가져옴으로써 영상에서 잡음제거는 영상처리에서 중요한 전처리 과정이다. 본 논문에서는 영상에서 잡음제거를 위해 GAN 모델에서 파생된 DCGAN 기반의 deformable RED and transfer learning based generative adversarial networks (dRED-TL-GAN)모델을 제안하고자 한다. 제안된 dRED-TL-GAN 모델에서 생성자는 인코더-디코더 구조로 이루어진 deformable RED 구조이고, 판별자는 전이학습 기반 구조이다. 여기서 deformable RED 구조는 인코더의 컨볼루션 층에서 표준 컨볼루션 대신 deformable 컨볼루션을 사용하여 영상의 특징을 고려하였고, 판별자는 ResNet-18 모델을 사용하여 학습 속도가 분류 정확도를 높혔다. 본 논문에서 제안된 dRED-TL-GAN 모델의 성능 평가를 위해 전통적인 Mean 필터, Median 필터와 BM3D 필터, 그리고 기존 딥러닝의 DnCNN 모델, RED-CNN 모델 그리고 DCGAN 모델을 고려하였으며, 다양한 잡음, 즉, 가우시안 잡음 (Caussian noise), 포아송 잡음 (Poisson noise) 그리고 스팩클 잡음 (Speckle noise)으로 훼손된 얼굴 영상을 대상으로 실험하였다. 성능 실험은 정성적인 평가와 정량적인 평가로 구성되며, 정성적인 평가 결과, Mean 필터, Median 필터, 그리고 BM3D 필터를 포함한 공간 필터들은 대체로 잡음이 남아있고, 또한 호릿한 영상을 얻었고, 제안된 dRED-TL-GAN 모델은 다른 딥러닝 모델보다 에지있는 선명한 영상을 얻었다. 또한, 정량적인 평가 척도인 Peak signal-to-noise ratio (PSNR), Mean squared error (MSE) 그리고 Structural similarity index measure (SSIM) 면에서 dRED-TL-GAN 모델은 모든 잡음과 모든 평가 척도에서 가장 좋은 성능 수치를 얻었다.
Noise in images not only causes visual distortion or inconvenience, but also reduces performance in the imaging system, so image denoising is an important preprocessing process in image processing. In this paper, we propose a dRED-TL-GAN model based on DCGAN, derived from GAN, to remove noise from images. The generator of the dRED-TL-GAN model is a deformable RED structure consisting of an encoder-decoder structure, and the discriminator is a transfer learning-based structure. Here, the deformable RED structure used deformable convolutin in the encoder’s convolution layer to remove noise by considering the characteristics of the image, and used the ResNet-18 model in the discriminator to increase learning speed and classification accuracy. To evaluate the performance of the proposed dRED-TL-GAN model, traditional filters including Mean filter, Median filter, and BM3D filter, and existing deep learning models including DnCNN model, RED-CNN model, and DCGAN model were considered. An performance experiment was conducted on face images damaged by various noises, namely Gaussian noise, Poisson noise, and Speckle noise. The performance experiment consists of qualitative and quantitative evaluations. First, in the qualitative evaluation, spatial filters including the Mean filter, Median filter, and BM3D filter generally remained noisy and resulted in blurry results, and the propose dRED-TL-GAN model obtained clearer images with edges than other deep learning models. Additionally, in a quantitative evaluation using PSNR, MSE, and SSIM metrics, the dRED-TL-GAN model performs well under all noises considered and on all evaluation metrics.