메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
이주희 (이화여자대학교) 양효걸 (문화방송) 강제원 (이화여자대학교) 한치영 (문화방송) 염규현 (문화방송)
저널정보
한국방송·미디어공학회 방송공학회논문지 방송공학회논문지 제29권 제3호
발행연도
2024.5
수록면
263 - 273 (11page)
DOI
10.5909/JBE.2024.29.3.263

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

초록· 키워드

오류제보하기
최근 폭발적으로 증가하는 영상 콘텐츠로 인해 대량의 영상 데이터에 효과적으로 접근하기 위한 지능형 검색 기술이 필수적이다. 하지만 기존의 키워드 기반 영상 검색 기술은 한계가 존재한다. 사전에 추출된 메타 데이터와 키워드에 의존하기 때문에 복잡한 상황이나 추상적인 개념을 표현하기 어려웠고, 사용자 의도를 정확히 반영하지 못하는 경우가 많았다. 이에 본 연구에서는 생성형 AI 기술과 멀티모달 사전학습 모델을 융합한 새로운 영상 검색 시스템을 제안한다. 생성형 이미지 모델을 통해 텍스트로 표현하기 어려운 복잡한 상황이나 추상적 개념을 구체화한 가이드 이미지를 생성할 수 있다. 또한 대규모 데이터로 사전 학습된 멀티모달 모델을 활용하여 텍스트, 이미지, 비디오 데이터를 동일 의미 공간에 정렬시켜 유사도를 측정한다. 제안 기술에서는 사용자 텍스트 입력과 생성 이미지 가이드를 조합하여 지능형 시멘틱 검색을 수행한다. 이를 통해 기존 방식이 가진 한계를 극복하고 사용자의 의도에 부합하는 검색 결과를 제공할 수 있다. 본 연구는 생성형 AI 기술이 영상 검색과 결합했을 때, 새로운 시너지가 발생할 수 있음을 보여주고 있으며, 새로운 방식의 멀티모달 영상 검색 기술은 방송사 아카이브 관리와 콘텐츠 제작 분야에서 큰 효율성과 생산성 향상을 가져올 것으로 기대된다.
#Text to video retrieval #Multi-modal search #Generative model

목차

요약
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 멀티모달 장면 검색 시스템
Ⅳ. 실험
Ⅴ. 결론 및 한계
참고문헌 (References)

참고문헌 (13)

참고문헌 신청
J. Yu, Z. Wang, V. Vasudevan, L. Yeung, M. Seyedhosseini, and Y. Wu, “Coca: Contrastive captioners are image-text foundation models,” arXiv preprint arXiv:2205.01917, 2022. doi: https://doi.org/10.48550/arXiv.2205.01917 google schola W. Park and N. Lee, “A study on Multimodal Video Retrieval using the CLIP”, Korea Artificial Intelligence Conference, Jreju, Korea, pp.109-110, 2022. google schola ETRI, Method for generating metadata based on scene representation using vector and apparatus using the same, KR20210122496A, Korea, 2021. google schola KT, System and method for generating keyword information from each moving picture scene, KR20110014403A, Korea, 2011. google schola ETRI, Apparatus and method for generating visual annotation based on visual language, KR102156440B1, Korea, 2021. google schola

이 논문과 함께 이용한 논문

멀티모달 생성형 AI 기술 동향
윤여찬 정보과학회지 2024 .01
질문·공간·오감 발상을 연계한 생성형 AI 기반 XR 글래스용 영감 수집 서비스 제안
박소연 ,  김건동 디지털콘텐츠학회논문지 2025 .02
멀티모달 텍스트-이미지 정렬을 활용한 블라인드 폭우 얼굴 영상 복원
손창환 ,  최연우 전기전자학회논문지 2024 .12
사전학습된 이미지-언어 모델을 활용한 효율적인 비디오 시간적 연계성 학습
권세미 ,  강제원 한국방송미디어공학회 학술발표대회 논문집 2024 .11
3D 애셋 관리에서의 멀티모달 기반 감성 분석을 위한 LLaVA 및 VisualBERT 기반의 감성값 대치 방법
권상지 ,  이은서 ,  허지혜 외 1명 지능정보연구 2024 .09

최근 본 자료

전체보기

댓글(0)

0

UCI(KEPA) : I410-151-24-02-089810519