최근 스마트 기기에서는 멀티미디어 콘텐츠의 사용량이 크게 증가하고 있다. 또한 멀티미디어 콘텐츠의 화질, 해상도 및 1초당 프레임 수(FPS; Frame Per Second)가 급격히 증가함에 따라 그 용량도 기하급수적으로 증가하였다. 이렇듯 증가한 데이터 량은 시스템의 저장장치 및 메모리 등의 시스템 자원을 크게 고갈시키는 주요한 원인이 되고 있다.
이러한 문제를 해결하기 위해 비디오 코덱을 이용하여 멀티미디어의 데이터 량을 압축하는 방법이 널리 사용되고 있다. 기존에는 Video Coding Experts Group(VCEG)에서 제정한 H.264/AVC 비디오 코덱 표준을 이용하여 주로 영상의 압축을 수행하였으나, 지난 2013년 1월 새로운 비디오 코덱 표준인 HEVC(High Efficiency Video Coding)가 제정되면서 HEVC를 이용한 영상 압축이 주목을 받고 있다. HEVC는 기존 H.264/AVC 대비 압축 효율이 50% 가량 증가하였으며, 그 복잡도는 비슷한 수준에 머무른다는 장점이 있다.
그러나 이러한 비디오 코덱을 이용해 영상을 압축하기 위해서는 수많은 복잡한 연산이 수반되며, 영상의 크기가 증가할수록 이러한 연산은 기하급수적으로 증가하여 실시간 압축이 힘들다. 따라서 고화질 영상의 실시간 인코딩 및 디코딩을 위해 프로세서 연산 능력의 향상이 필요하다.
프로세서의 연산 능력을 향상시키는 방법으로는 크게 세 가지가 널리 사용되고 있다. 첫 번째는 DSP(Digital Signal Processor) 등의 고성능 범용 프로세서를 활용하여 어플리케이션을 소프트웨어로 구현하는 방법, 두 번째는 ASIC(Application Specific Integrated Circuit)을 이용하여 하드웨어로 어플리케이션을 구현하는 방법, 그리고 마지막은 어플리케이션에 특화된 명령어 셋을 갖는 프로세서(ASIP, Application Specific Instruction-set Processor)를 사용하여 구현하는 방법이다. 범용 프로세서를 이용한 방법은 어플리케이션을 소프트웨어로 구현하므로 알고리즘의 변경 등에 유연하게 대처할 수 있지만, 프로세서의 로직 크기, 소모 전력이 크다는 단점이 있다. ASIC으로 구현하는 방법은 고성능, 저전력의 장점을 갖고 있지만, 하드웨어로 한 번 설계되면 변경이 불가하여 유연성이 부족하다는 단점이 있다. 이에 반해 ASIP는 어플리케이션에 최적화 된 명령어 셋을 가지고 있으므로, ASIC이나 DSP에 가까운 성능을 낼 수 있으면서도 어플리케이션을 소프트웨어로 구현하기 때문에 유연성이 좋아 최근 주목받고 있는 방법이다.
따라서 본 논문에서는 HEVC 디코더의 성능 향상을 위해 HEVC에 최적화된 ASIP를 설계하고, 이를 기반으로 HEVC 소프트웨어를 구현한다. ASIP의 설계를 위해 기존 구현되어있는 HEVC 참조 소프트웨어(HM 10.0)의 코딩 툴별 프로파일링을 수행하고, 이 결과를 바탕으로 전용 명령어의 개발 및 ASIP 개발을 수행한다. 또한 개발한 명령어의 성능을 더욱 향상시키기 위한 메모리 재정렬 기법을 제안하고, 하드웨어 가속기를 사용하여 HEVC 디코더에서 많이 사용되는 부동 소수점 연산을 가속한다.
설계한 명령어는 HEVC 보간 필터의 성능을 평균 38%, 역변환의 성능을 평균 52%, 그리고 클리핑 연산의 성능을 평균 84% 향상시켰으며, 메모리 재정렬 기법은 역변환의 성능을 13% 더 향상시켰음을 실험을 통해 확인하였다. 더욱이 부동 소수점 하드웨어 가속기는 HEVC 디코더의 부동 소수점 연산의 실행 시간을 평균 87% 감소시키면서 HEVC 디코더 전체 성능을 크게 향상시켰다.