딥러닝을 이용한 양방향 소통 영상의 하이라이트 검출 :Highlight detection in two-way communication videos using deep learning

김은율

추천

검색

자료유형: 학위논문

저자정보: 김은율 (서울과학기술대학교, 서울과학기술대학교 대학원)

지도교수: 이계민

발행연도: 2019

저작권: 서울과학기술대학교 논문은 저작권에 의해 보호받습니다.

이용수17

이 논문의 연구 히스토리 (2)

2019

딥러닝을 이용한 양방향 소통 영상의 하이라이트 검출

김은율 2019.01 학위논문

2018

양방향 LSTM을 이용한 영상의 하이라이트 예측

김은율 , 이계민 대한전자공학회 학술대회 2018.11 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

최근 유튜브나 트위치, 카카오tv 등과 같은 개인방송 플랫폼을 통해 시청자와 방송 제작자들이 서로 소통하며 방송을 진행하는 양방향 소통 방송을 쉽게 접할 수 있다. 이러한 플랫폼에는 날마다 수많은 영상들이 업로드 되고, 이를 이용하는 사람들도 증가하고 있다. 이에 방송 제작자들은 시청자 유입을 위해, 시청자들은 원하는 영상을 쉽게 선택하기 위한 목적으로 하이라이트 영상을 원한다. 플랫폼의 입장에서는 하이라이트 영상 제작을 도와주면 쉽게 방송 제작자와 이들을 구독하는 시청자들을 끌어들일 수 있다. 이처럼 다양한 입장에서 하이라이트 영상 제작이 요구되고 있어 본 학위논문에서는 자동으로 영상의 하이라이트 위치를 찾는 방법을 제안한다.
개인방송은 대부분 채팅을 통해 시청자들과 콘텐츠 제작자들이 서로 소통하며, 다수의 시청자들이 흥미를 느끼는 부분에서 채팅이 활발해진다는 특징이 있다. 따라서 채팅 정보를 이용하여 하이라이트 위치를 예측하는 딥러닝 모델을 제안한다. 또한 영상을 요약하거나 하이라이트를 찾는 방법을 주제로 하는 기존의 연구에서 많이 사용한 이미지와 오디오 정보도 채팅 정보와 함께 하이라이트 검출에 이용하는 모델을 제시한다.
하이라이트를 찾기 위해서는 영상을 이해할 필요가 있으며, 영상을 이해하기 위해서는 콘텐츠의 종류에 따른 특성을 파악하는 것도 중요하다. 영상의 흐름이 느린 콘텐츠의 경우는 하나의 이벤트가 하이라이트에 해당하는지를 판단하기 위해 단기적 흐름뿐만 아니라 중장기적 흐름을 아는 것이 도움이 된다. 콘텐츠의 특성에 따라 한 이벤트가 하이라이트인지 판단하기 위해 해당 이벤트 내에서 중요하게 보아야 할 부분도 차이가 존재한다. 이러한 사항들을 고려하여 본 논문에서는 하이라이트 예측 성능을 높이기 위해 다중 시구간 모델과 앙상블 모델을 제안한다.
제안하는 하이라이트 예측 모델은 실제로 개인방송 플랫폼을 통해 방송된 영상을 이용하여 성능을 확인한다. 사용한 영상은 개인방송 시청 수요가 높으며 비교적 하이라이트가 명확한 e스포츠와 야구 경기 중계 영상이며, 전문 편집자가 제작한 하이라이트 영상을 ground truth로 설정하고 비교하여 유사성을 확인하였다. 본 학위논문을 통해 제안한 모델들이 하이라이트 자동 예측에 유용하게 이용될 수 있을 것이라 기대한다.

Through two-way communication platforms, broadcasters and viewers can communicate with each other. As a result, live streaming services such as Youtube, Twitch, and Kakao TV become increasingly popular in recent years. As the number of videos on these platforms rapidly increases, the demand for providing highlight videos grows as well. Because a highlight video is a collection of interesting scenes in a video, it helps viewers to choose which videos to watch. However, producing a highlight video is time-consuming and costly. In this thesis, we present novel methods for automatically predicting highlights to solve these problems.
On most live streaming platforms, online chatting is a primary way of communication between broadcasters and viewers. Thus, it is easily conceivable that the chatting traffic tends to increase at interesting parts of a video. In this thesis, we propose to use chat logs to detect highlight events in a video. Our deep learning models can handle chatting information and are shown to understand a video better. Most of the related studies use only audio or visual information to summarize a video or to find highlights. On the contrary, we propose novel models that use all the chat, audio, and visual information to predict highlights, and demonstrate that using a variety of information can improve the predictive power of a highlight detector.
Considering the type of contents is also important in highlight detection. Depending on the content types, the contextual flow of the video may vary. For content with slower flow in the video, seeing both short-term and mid-to-long term flow together can be more helpful. Thus, we propose to use the features over multiple time intervals to understand the mid-to-long term flow as well as the short term flow in a video. In addition, which part of an event is important in determining highlights depend on the content types. Therefore, we also propose an ensemble model that puts weights differently over different parts of an event. We have collected e-Sports and baseball videos from Twitch and Kakao TV, and have demonstrated the similarity between our results and expert-produced ground truth. We expect that the models proposed in this thesis will be useful in automatically predicting highlights.

요약 ⅰ
표목차 ⅳ
그림목차 ⅴ
I. 서 론 1
1. 연구 배경 및 목적 1
2. 관련 연구 3
3. 논문의 구성 4
II. 하이라이트 검출을 위한 채팅 트래픽 분석의 효용성 검증 6
1. 서론 6
2. 채팅 트래픽을 통한 하이라이트 검출 알고리즘 6
1) 채팅 데이터 수집 및 전처리 7
2) 피크 선정과 구간 설정 9
3. 검출된 하이라이트 구간의 평가 11
4. 실험 및 결과 12
1) e스포츠 데이터 실험 결과 12
2) 야구 데이터 실험 결과 17
5. 결론 21
III. 채팅과 오디오의 다중 시구간 정보를 이용한 하이라이트 예측 22
1. 서론 22
2. 제안하는 하이라이트 예측 모델 23
1) 특징벡터 추출 23
2) 단일 시구간 모델 STIM 23
3) 다중 시구간 모델 MTIM 26
4) 다중 데이터 이용 모델 27
3. 실험 및 결과 30
1) e스포츠 경기 영상 예측 결과 30
2) 야구 경기 영상 예측 결과 31
3) 구간 길이에 따른 MTIM의 성능 분석 36
4. 결론 37
IV. 채팅, 오디오, 이미지 정보와 앙상블 모델을 이용한 하이라이트 예측 38
1. 서론 38
2. 세 가지 데이터를 이용한 하이라이트 예측 모델 39
1) 삼중 데이터 사용 모델 T-STIM 39
2) 앙상블 모델 41
4. 실험 및 결과 43
1) 이미지 정보 사용의 효용성 평가 43
2) 앙상블 모델 평가 48
5. 결론 50
V. 결 론 52
참고문헌 54
영문초록(Abstract) 57
감사의글 59

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)