초고속 통신망의 상용화와 더욱 발전하고 있는 하드웨어 및 소프트웨어 기술은 모바일 기기의 대중화를 이끌었으며, 바야흐로 1인 1모바일의 시대로 언제 어디서나 연결되어 있는 세상이 되었다. 이러한 동향은 언제 어디서나 멀티미디어 콘텐츠를 소비할 수 있는 환경을 만들었으며 나아가 사용자들은 시간과 장소에 제한 없이 손쉽게 멀티미디어 콘텐츠의 생산에도 참여할 수 있게 되었고 이것으로 소통하는 서비스 또한 폭발적으로 증가하고 있다. 즉, 더 큰 혁신을 원하는 사용자들의 욕구와 기술의 발전은 끝없는 상관관계로 서로를 독려하고 있다. 현재에는 눈으로 시청만 하던 방식의 일반적인 소비 형태를 넘어서는 더욱 고도화된 멀티미디어 서비스에 대한 요구가 늘어나고 있다. 현실 세계를 더욱 사실과 같이 재현하여 인간이 가지고 있는 오감을 만족시킬 수 있는 뉴미디어 연구인 실감미디어는 이러한 사용자들의 욕구 충족에 좋은 대안이 될 것이다. 특히, 인간이 가지는 시야각 정도의 넓은 화각을 제공하여 현장감과 몰입감을 높일 수 있는 파노라믹 비디오는 이러한 실감미디어 중 가장 먼저 사용자에게 접근하게 될 형태의 미디어 일 것이다. 하지만 아직까지는 넓은 화각을 제공하는 파노라믹 비디오를 온전히 소비할 수 있는 환경이 부족하며, 대용량의 파노라믹 비디오에 대한 생성과 서비스에 관한 연구가 부족한 상황이다. 따라서 본 논문에서는 고화질의 파노라믹 비디오 기술과 관련된 연구를 진행하여 실감미디어 분야에 기여하도록 한다.
본 논문에서 진행한 파노라믹 비디오 기술에 대한 연구는 파노라믹 영상의 획득과 생성, 그리고 전송과 소비 단계로 나누어 진행하였다.
첫 번째 단계는 파노라믹 영상의 획득에 관한 것이다. 120º 이상의 넓은 화각을 제공하는 파노라믹 비디오는 넓은 시야각의 특성으로 인해 일반적인 카메라를 사용하여 생성하는 것은 불가능하다. 물론 대화각의 특수한 렌즈가 개발되고 있지만, 자연스러운 화면을 얻기에는 역부족이다. 따라서 현재에는 하나 이상의 카메라를 각 카메라가 가지는 화각에 따라 대상 공간을 나누어 동시에 촬영한 후 각 카메라로부터 획득한 영상들을 특정 알고리즘을 통해 연결하여 하나의 파노라믹 비디오로 재생산하여 얻는다. 이러한 획득 방법은 여러 대의 카메라들로 촬영된 영상들이 마치 하나의 카메라가 촬영한 영상처럼 가공되어야 하므로 각 카메라들이 가지는 기하학적 배치와 특성들의 일치가 매우 중요하다. 이를 위해 촬영현장에서 여러 대의 카메라를 동시에 제어할 수 있는 모니터링 시스템이 필요하다. 따라서 본 논문에서는 여러 대의 카메라를 이용하여 파노라믹 비디오를 촬영하는 데 필요한 모니터링 시스템을 개발하였다. 특히 기존 2차원 기반의 모니터링 화면이 가지는 이웃 카메라간 화각 차이에 의한 왜곡 현상으로 인해 각 카메라의 보정에 대한 오류를 최소화할 수 있도록, 각 카메라의 포즈가 포함된 3차원 기반의 모니터링 시스템을 제안하였다.
그 결과, 촬영현장에서 여러 대의 카메라들로부터 입력되는 영상들을 모니터링하고, 이웃 카메라들의 위치를 보다 정확하게 보정함으로써 각 카메라들의 획득 범위와 교차 범위를 더욱 정교하게 보정할 수 있었으며, 이에 따라 각 카메라간 화각의 차이로 생길 수 있는 시차 오류를 최소화할 수 있었다. 또한 이를 통해 최종적으로 얻게 되는 파노라믹 비디오의 해상도는 기존 시스템을 사용하여 얻은 파노라믹 비디오의 해상도 대비 약 14%의 향상을 확인 할 수 있었다.
두 번째 단계는 파노라믹 비디오의 생성에 관한 것이다. 연산 능력과 전력 사용에 제한이 없는 일반적인 형태의 생성 방법은 제외하고, 특별히 모바일 기기를 이용하여 생성하는 방법에 대해 진행하였다. 모바일 기기의 사용은 대중화되었으며 점차 늘어나고 있다. 드론(Drone)과 같은 형태로 특정한 그룹을 이루어 협력하여 촬영하는 스포츠 중계, 국방을 위한 감시 등에서는 모바일의 역할이 더욱 크다. 하지만 연산 능력과 배터리 자원이 제한적인 모바일에서 대용량 고화질의 파노라믹 비디오를 생성하는 일은 어려운 일이다. 따라서 본 논문에서는 자원이 제한적인 모바일 기기를 이용한 파노라믹 비디오의 효율적인 생성 방법으로 클라우드 컴퓨팅의 오프로딩을 활용하는 시스템을 제안하였다. 제안하는 시스템은 크게 두 가지로, 파노라믹 비디오의 생성에 관한 연산 전체를 클라우드 서버에 오프로딩 하는 시스템과 연산의 특정 부분만을 클라우드 서버에 오프로딩하는 시스템으로 나누었다.
그 결과, 그룹에 참여하는 모바일 기기의 개수와 상관없이 파노라믹 비디오를 생성하는 데 필요한 시간에 대한 결과는 파노라믹 생성 연산의 특정 부분을 넘긴 시스템은 약 2배, 전체를 넘긴 시스템은 약 8배 이상 더 빠른 것으로 확인 되었다. 파노라믹 비디오를 생성하는 데 소모되는 에너지에 대한 결과는 참여 모바일 기기의 수가 특정 수 이상인 경우, 제안하는 시스템들의 효율이 급격하게 향상될 수 있음이 확인되었다. 또한, 클라우드 컴퓨팅의 연산능력에 따른 에너지 소모량에 대한 연구를 진행하였다. 그 결과를 활용하여 참여하는 모바일 기기의 개수에 따라 최소 몇 배 이상의 연산 능력을 가진 클라우드 서버를 사용해야 에너지 효율이 좋은지 확인할 수 있다. 그 예로 참여 모바일 기기가 3개인 경우에는 최소 13배 이상이 되어야 하며, 참여 모바일 기기가 10개인 경우에는 최소 6배 이상이 되어야 한다. 이러한 결과를 종합하면 제안하는 시스템이 시간적 측면과 에너지적 측면에서 큰 이득을 가질 수 있는 시스템인 것을 확인할 수 있다.
다음으로 진행한 연구는 파노라믹 비디오의 전송에 대한 연구의 기반으로, 일반적인 비디오를 모바일 사용자에게 전송하는 방법에 관한 것이다. 기존의 방송망뿐만 아니라 인터넷에서도 원활한 서비스를 위해 기존 비디오 스트리밍 서비스에 대한 기술의 한계를 극복하고자 새로 개발되어 표준화된 MMT(MPEG Media Transport)와 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)를 이용하여 실시간 적응형 스트리밍 시스템에 관한 연구를 진행하였다. 여기서는 특별히, 신뢰성 높고 실용적인 연구 결과를 위해 실제 상용화된 LTE(Long Term Evolution, 4G)망의 성능을 측정한 결과를 적용하여 연구하였다.
그 결과, 실시간 적응형 스트리밍 서비스에 대한 성능은 MMT와 DASH 모두 어떠한 주기로 비트율을 조절하는지가 큰 영향을 주는 것으로 확인 되었다. 즉, GoP(Group of Picture)단위 이상으로 구성된 비디오 데이터의 단위에 따라 네트워크 상황에 대처해 나가는 성능에 큰 영향이 있음을 확인 할 수 있으며, 같은 비디오 데이터 단위에서도 비디오 데이터 단위와 독립적인 주기 설정이 가능한 MMT 시스템이 DASH 시스템 보다 최대 약 3배 정도의 개선된 성능을 보였다. 또한 스트리밍 시스템의 성능은 사용하는 프로토콜의 특성에 크게 기인하고 있음을 추가적으로 확인할 수 있다. 따라서 차세대 멀티미디어 스트리밍 시스템을 개발할 때는 사용하는 프로토콜과 네트워크의 성능 그리고 대역폭 변화에 적응해 가는 비트율 조절 주기를 고려하는 것이 바람직할 수 있다.
마지막 단계로 고화질의 파노라믹 비디오를 모바일 사용자에게 스트리밍 하고 소비하는 방법을 연구하였다. 모바일 기기는 사람이 가지는 만큼의 넓은 시야각을 제공하는 고화질의 파노라믹 비디오를 온전히 시청할 수 있는 디스플레이 환경이 제한적이며, 무선 인터넷 대역폭 또한 제한적이다. 따라서 모바일 기기에 기존과 같은 형태로 파노라믹 비디오를 서비스하게 된다면, 관심도가 떨어지거나 시청하기 어려운 부분에 대한 불필요한 전송에서 오는 자원의 낭비로 인해 서비스의 효율이 떨어지게 되며, 이것은 곧 사용자가 체감하는 품질을 저하시키는 요인이 된다. 따라서 본 논문에서는 상기 언급된 일반적인 비디오를 효과적으로 서비스 하는 적응형 스트리밍 기술을 기반으로 모바일 기기에 적합한 파노라믹 비디오 시청환경을 제안하였다. 제안방법을 위해 사용자가 시청을 원하는 관심 영역을 선택하여 이를 서버에 알리고, 서버는 관심 영역을 위주로 예측된 대역폭 안에서 최대한의 품질로 서비스하는 방법을 제공한다. 특히 손쉬운 상용화를 목적으로 상기 언급된 MMT 표준을 사용하는 방법을 제공한다.
그 결과, 기존의 일반적인 형태의 서비스 방법에 비해 제안하는 시스템을 이용한 방법은 사용하는 대역폭을 약 20% 절감하면서 사용자가 체감하는 품질은 최대 91%까지 향상시킬 수 있음을 확인하였다. 제안하는 시스템은 모바일이 가지는 제한적인 시청환경과 네트워크 자원의 문제점을 해결하였으며, 나아가 파노라믹 비디오 서비스 상용화에 기여할 수 있을 것으로 기대된다.
향후에는 파노라믹 비디오 스트리밍 서비스가 확산되고 보다 진보된 형태의 통신망 및 모바일 기기와 결합되어 더욱 발전된 형태의 비디오 스트리밍 서비스가 될 것으로 전망한다. 이러한 변화에 따라 본 논문에서 연구한 파노라믹 비디오 콘텐츠에 대한 획득방법과 모바일 기기와 클라우드 컴퓨팅을 활용한 협력 모바일 파노라믹 생성 방법 및 MMT 기반의 스트리밍 시스템과 MMT 표준을 이용하는 파노라믹 비디오 스트리밍 방법의 필요성과 활용성은 더욱 증가할 것으로 기대한다.

The commercialization of high-speed communication network and the advanced hardware and software technologies have popularized mobile devices. It has become the era of one-person one-mobile device in which people can be connected with one another anytime, anywhere. This trend has created an environment in which multimedia contents can be consumed anytime, anywhere. Furthermore, users can easily participate in the production of multimedia contents without any limitations in time and place, and communication services are explosively increasing. Users who desire for greater innovation and the development of technology are stimulating one another with endless interactions. Nowadays, there is an increasing demand for more sophisticated multimedia services beyond the conventional consumption style that only used the eyes for watching. Realistic media, which is a new type of media that can reproduce the real world more realistically and satisfy human senses, will be a good alternative to meet the needs of these users. In particular, the panoramic video which can provide a wide view angle comparable to that of humans can enhance the sense of presence and immersion will be the first type of such media that will be accessed by users. However, until now, the environment was not available to fully consume panoramic videos with a wide view angle, and there is lack of research on the generation and services of large-capacity panoramic videos. Therefore, this study was conducted to contribute to the realistic media through research on the high-quality panoramic video technology.
The research on the panoramic video technology in this work is divided into the four stages of acquisition, generation, transmission, and consumption of panoramic images.
The first step concerns the acquisition of panoramic video. Panoramic video with a wide view angle of 120° or more cannot be created using a typical camera due to its wide view angle. Even though special lenses with a large image angle are being developed, they still cannot produce natural images. To address this problem, therefore, a target space is divided by one or more cameras according to the view angle of each camera, and images obtained from each camera are combined through a specific algorithm and reproduced as one panoramic video. In this method, the matching of the geometrical arrangement and characteristics of each camera is critical because the images captured by multiple cameras must be processed as if they were taken by one camera. For this purpose, a monitoring system capable of controlling several cameras simultaneously is needed. Therefore, in this work, we developed a monitoring system for capturing a panoramic video using several cameras. In particular, a 3D-based monitoring system that includes the poses of each camera to minimize the calibration error each camera resulting from the distortions caused by the difference in the view angle of the conventional two-dimensional monitoring screen between adjacent cameras.
As a result, the acquisition and crossing ranges of each camera could be more precisely corrected by monitoring the images input from multiple cameras at the photographing site, thus minimizing the time difference error that may result from the difference in view angle. Furthermore, the resolution of the final panoramic video obtained through this method was about 14% higher than that of the panoramic video obtained using the conventional system.
The second step concerns the generation of panoramic video. Generic methods that have no limitations in computing power and power usage were excluded from this study, and a method using mobile devices in particular was developed. The use of mobile devices has become popular and is increasing gradually. The role of mobile devices is growing in sports relay broadcasting and monitoring for national defense, which work in cooperation by forming a group with such devices as drones. However, it is difficult to generate large high-resolution panoramic video on mobile devices with limited computing power and battery resources. Therefore, this paper proposes a system that utilizes the offloading of cloud computing as an efficient method for generating panoramic video using mobile devices with limited resources. The proposed system is divided into two systems: a system that offloads all computations related to the generation of panoramic video to the cloud server, and a system that offloads only a specific part of the computations to the cloud server.
Consequently, the results of time required for generating a panoramic video showed that a system that passes certain parts of the panoramic production process to the cloud server was approximately twice as fast as the conventional system, and the system that passes entire process to the cloud server was approximately eight times as fast, regardless of the number of mobile devices participating in the group. The results of the energy consumed to generate the panoramic video confirmed that the efficiency of the proposed system can be drastically improved if the number of participating mobile devices is greater than a certain number. In addition, energy consumption according to the cloud computing power was researched. Based on the results, the minimum number of times of the computing power that the cloud server must have to achieve good energy efficiency can be determined according to the number of participating mobile devices. For example, if there are three participating mobile devices, it should be at least 13 times, and if there are 10 participating mobile devices, it should be at least 6 times. These results suggest that the proposed system can provide large advantages in time and energy.
The next step concerns the method of transmitting general video to mobile users, which forms the basis of the study on the transmission of the panoramic video. To overcome the limitations of the existing video streaming service for smooth services on the internet as well as through the existing broadcasting networks, real-time adaptive streaming was researched using the standardized MMT (MPEG Media Transport) and MPEG-DASH (Dynamic Adaptive Streaming over HTTP) streaming systems. In this study, the performance measurement results of the commercialized LTE (Long Term Evolution, 4G) network were applied to obtain highly reliable and practical research results.
As a result, the performance of the real-time adaptive streaming service was found to be greatly affected by the adjustment of bit rates for both MMT and DASH. In other words, the performance of coping with the network situation is greatly influenced by the units of video data composed of the unit of GoP (Group of Picture) or greater. In the same video data unit, the MMT system that can set a cycle that is independent from the video data unit showed a three times better performance than that of the DASH system. Furthermore, the performance of the streaming system was verified to be greatly affected by the characteristics of the protocol used. Therefore, when developing a next generation multimedia streaming system, it may be desirable to consider a bit rate control cycle that adapts to the protocol, network performance, and bandwidth variation.
In the last step, the method of streaming and consuming high-resolution panoramic video for mobile users was researched. The mobile environment has a limited display environment as well as a limited wireless internet bandwidth that make it difficult to provide high-quality panoramic video with a view angle as wide as that of a human being. Therefore, if panoramic video is served to mobile devices in the conventional manner, the efficiency of the service is degraded due to the waste of resources by the unnecessary transmission of the parts that are less interested in or difficult to watch, causing deterioration of quality felt by user. Therefore, this paper proposed a panoramic video viewing environment suitable for mobile devices based on adaptive streaming technology that effectively serves the aforementioned general videos. For the proposed method, the user selects a region of interest and informs it to the server. Then the server can provide services centered on the region of interest with the highest possible quality within the predicted bandwidth. In particular, a method of using the aforementioned MMT standard for easy commercialization is provided.
As a result, the method using the proposed system was verified to reduce the bandwidth used by approximately 20% and improve the quality as felt by the user by up to 91% compared to the conventional general service method. The proposed system solves the problems of limited viewing environment and network resources of mobile devices and is expected to contribute to the commercialization of panoramic video service.
In the future, panoramic video streaming services will become widespread and a more advanced form of video streaming service combined with more advanced forms of communication network and mobile device will be provided. According to this trend, the necessity and utility of a method for acquiring panoramic video contents, a collaborative mobile panoramic generation method using mobile devices and cloud computing, and a panoramic video streaming method using a MMT-based streaming system and MMT standards, which were researched in this work, will be further increased.