코로나 바이러스의 확산 방지를 위해 대부분의 교육기관에서 비대면 강의 시스템을 도입하였다. 비대면 강의 시스템이란 온라인 환경에서 강의 수강, 과제 제출, 시험 응시 등의 학습 활동을 가능하게 하는 플랫폼을 의미한다.
하지만 비대면 강의 시스템은 접근성을 제대로 보장하고 있지 않기 때문에 디지털 약자가 이용할 때 많은 불편함을 겪고 있다. 대표적으로 비대면 강의 시스템은 수많은 시각적 요소를 사용하지만, 시각장애 학생은 이러한 정보를 이용할 수 없음에 따라 정보의 접근 가능성과 획득 가능성이 떨어지게 된다. 예를 들어, 동영상 강의를 들을 때 화면에 어떤 내용이 나오는지 몰라 수업 내용 이해도가 떨어지거나, 버튼에 라벨이 지정되어 있지 않아 학습 활동을 위한 프로그램들을 사용하기 어려워하는 등의 문제가 있다. 이와 같은 시각장애 학생들이 겪는 구체적인 문제점들을 파악하고 현황을 분석하기 위한 다양한 연구가 진행된 바가 있다. 하지만 기존 연구들은 도입 가능한 구체적인 방안을 제시하는 것이 아닌 문제점 및 현황 분석에 그침으로 인해 실질적인 해결 방안을 제시하는 연구는 미비한 실태이다.
그에 따라 본 연구에서는 시각장애 학생이 비대면 강의를 수강할 때 수업 이해도를 올릴 수 있도록, 동영상 강의에 대해 자동으로 음성 해설을 제공하는 시스템을 설계 및 구현하였다.
우선 첫 번째로, 시스템 기능과 연구 범위를 설정하기 위해 구체적인 요구사항을 분석하였다. 이를 위해 시각장애 학생들을 대상으로 사전 인터뷰를 진행하였다. 이를 통해 시각장애 학생이 동영상 강의를 더 선호하며, 강의 자료를 이용하거나 강의 동영상을 수강할 때 지시대명사의 사용 및 화면 해설의 부재로 인해 수업 내용을 이해하기 어려워한다는 것을 알 수 있었다. 그리고 장애학생 지원센터와 도우미 학생에게 인터뷰를 함으로써 강의 해설본을 제작하여 전달하는 것이 기존 대안이지만, 반복적인 시간과 비용 소모의 한계를 갖고 있다는 것을 확인하였다. 따라서 분석한 내용을 토대로, 본 연구에서는 강의 동영상의 화면자료와 강조 액션에 대해 자동 해설을 제공하는 것으로 범위를 설정하였다.
두 번째로 화면자료에 대한 해설 방법을 설계하고, 프로토타입을 제작하여 평가하였다. 그 결과, 화면자료와 강조 액션에 대한 해설이 제공될 때 강의 내용 이해도가 증가하는 것을 확인하였다. 뒤이어 다양한 컴퓨터 비전 기술을 사용하여 화면자료에 대해 자동 해설을 제공하는 시스템을 구현하였다. 그리고 사용성 평가를 진행한 결과, 제안한 시스템을 이용했을 때 강의 내용 이해도가 상승하는 것을 확인하였다.
마지막 세 번째로는 교수자가 사용하는 강조 액션의 범주를 정리하고, 그 중 화면표시액션에 대한 종류를 분석하였다. 그리고 각 종류에 따라 해설 방법을 설계하여 오디오 프로토타입을 제작하고 평가하였다. 그 결과 모든 해설 방법에 대해 효과성이 좋음 이상인 것을 확인하였다. 이어서 화면표시액션이 발생하는 프레임을 추출하고, 해당 프레임에서 화면표시액션의 컨투어와 영역 정보를 추출해 텍스트 영역과 대조하였다. 이를 통해 강조 대상을 알아내어, 대상을 해설하는 음성을 생성 및 삽입하였다. 그리고 사용성 평가 결과, 본 시스템을 이용했을 때 교수자가 강조하는 내용을 파악하는 이해도가 상승하는 것을 확인하였다.
본 연구는 동영상 강의 자동 해설 시스템을 제안함으로써 시각장애 학생의 학습권을 보장한다는 것에 의의가 있다. 이는 비대면 강의 시스템을 포함한 다양한 미디어 컨텐츠에 대한 시각장애인의 접근성을 확대하는 것에도 활용될 수 있을 것이다.

Due to the spread of covid-19, most educational institutions have introduced non-face-to-face lecture systems. While the non-face-to-face lecture system does not properly guarantee accessibility, the digital vulnerable is experiencing many inconveniences. Especially, non-face-to-face lecture systems'' numerous visual elements cannot be utilized by visually impaired students. This study suggests a system that automatically provides voice commentary on video lectures so that visually impaired students can understand content efficiently during taking non-face-to-face lectures. We conducted pre-interviews with visually impaired students and helper students of the support center for disabled students to analyze requirements for setting the research scope. In this study, we designed a commentary method for screen content and evaluated an audio prototype to check the validity and confirmed the provided commentary helped visually impaired students to understand the content. Then, we implemented a system that provides automatic commentary on screen content such as text, images and table using various computer vision technologies. We categorized instructors'' emphasized actions and analyzed the types of screen display actions to design a commentary method for each data and evaluate an audio prototype. In addition, we implemented a system that provides voice commentary on the emphasized object for each frame in which the screen display action occurs in the lecture video. As a result of the usability assessment, this system increased the understanding of lectures. Therefore, this study will contribute to the right to learn for visually impaired students by proposing an automatic video lecture commentary system. This can be used to enable visually impaired people to utilize various media contents including non-face-to-face lecture systems.