최근 인터넷 환경이 급속히 발전함에 따라 무선 디스플레이, 화상 회의 등의 분야에서 디지털 영상 콘텐츠들이 제작되어 배포되고 있다. 이와 같이 인터넷망의 발달로 인해 이전의 기록매체에 의한 영상 배포와는 다른 형태의 영상 배포가 이루어지고 있으며, 디지털 기기에서 생성된 영상 콘텐츠의 배포에 필요한 부호화 기술 수요가 급증하는 추세이다.
컴퓨터나 디지털 기기를 사용해 인공적으로 그린 영상을 스크린 콘텐츠 (Screen Content)라 부른다. 스크린 콘텐츠는 일반적으로 날카로운 모서리의 도형, 글자 등으로 이루어져 있어 카메라로 촬영된 자연 영상과는 다른 영상 특성을 보인다. 기존의 동영상 부호화 기술 표준인 차세대 영상 부호화 기술 (H.264/AVC) 및 고효율 영상 부호화 기술 (High Efficiency Video Coding: HEVC)은 카메라로 촬영된 자연 영상의 압축에 초점을 맞춰 개발되었기 때문에, 자연 영상과 다른 영상 특성을 보이는 스크린 콘텐츠의 효율적인 압축이 어렵다는 문제가 제기되었다. 이에 ISO/IEC Moving Picture Expert Group, ITU-T Video Coding Expert Group의 공동 협력 팀 (Joint Collaborate Team on Video Coding: JCT-VC)은 스크린 콘텐츠의 영상 특성을 고려한 스크린 콘텐츠 부호화 확장 표준 (Screen Content Coding Extension: SCC)을 제정하였다.
현재 스크린 콘텐츠 부호화의 참조 소프트웨어 (Screen Content Coding Test Model: SCM)에서는 율-왜곡 최적화 과정을 통해 모든 예측모드와 분할 구조에 대하여 부호화를 수행 한 후 최적의 분할 구조를 결정한다. 스크린 콘텐츠 확장 표준에 새롭게 추가된 예측 모드인 현재 화면 참조 모드 (Intra Block Copy Mode)와 색채 기반 부호화 모드 (Palette Coding Mode)는 스크린 콘텐츠 영상에서 높은 부호화 효율을 보이지만 부호화기의 율-왜곡 최적화 과정의 계산 복잡도를 매우 증가시킨다. 이러한 부호화기 복잡도 증가는 새로운 확장 표준을 실시간 부호화가 필요한 분야에 적용하는데 가장 큰 문제점이다. 이에 스크린 콘텐츠 코딩의 현재 화면 참조 기술과 색채 기반 부호화 기술 수행을 줄여 율-왜곡 최적화 과정의 계산 복잡성을 줄이는 방법을 제안한다.
기존의 HEVC에서 높은 성능을 보였던 부호화 기술 수행 감소 방법에는 조기 분할 결정 방법이 있다. 조기 분할 결정 방법은 현재 부호화 중인 블록 이미지의 특징 (Feature) 이나 인코딩 비용 분포 특성을 기반으로 블록 분할 결정을 조기에 내림으로써 예측 모드의 수행 횟수를 줄이는 방법이다. 하지만 스크린 콘텐츠 부호화의 경우 현재 부호화 중인 블록 이미지의 특징이나 인코딩 비용 분포 특성이 블록의 분할 구조와 상관성이 적기 때문에 기존의 HEVC 조기 분할 결정 방법을 적용하기 어려운 문제가 있다.
따라서 본 논문에서는 조기 분할 결정 방법을 수행하기 이전에 기계학습 기법을 통해 현재 부호화 중인 블록을 자연 영상 블록과 스크린 콘텐츠 블록으로 분류한다. 이후 스크린 콘텐츠로 판단되는 블록에 대하여 정상적인 율-왜곡 최적화 과정을 수행하며, 자연영상으로 판단되는 블록에 대하여 기존의 HEVC 조기 분할 결정 방법을 수행한다. 추가로 자연영상으로 판단되는 블록은 현재 화면 참조와 색채 기반 부호화 모드 수행을 생략하는 방법으로 예측 모드 수행을 줄였다.
제안하는 방법의 기계학습 분류 과정은 기존의 전체 부호화기 복잡성의 0.4%만을 차지하였으며 스크린 콘텐츠 공통 실험조건 Common Testing Condition: CTC) 영상에서 기존의 스크린 콘텐츠 확장 표준 대비 2.99%의 BD-Bitrate 상승과 평균 45%의 부호화 시간 감소를 이루었다.