청각과 시각의 교차감각 매핑에 의한 소리 시각화 연구

김희정; 오동우

추천

검색

자료유형: 학술저널

저자정보: 김희정 오동우

저널정보: 한국디자인트렌드학회 한국디자인포럼 한국디자인포럼 제23권 제2호

발행연도: 2018.1

수록면: 7 - 16 (10page)

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

이 논문의 연구 히스토리 (2)

2018

청각과 시각의 교차감각 매핑에 의한 인터랙티브 사운드 시각화 연구

김희정 2018.01 학위논문

청각과 시각의 교차감각 매핑에 의한 소리 시각화 연구

김희정 , 오동우 한국디자인포럼 2018.01 학술저널

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

연구배경 청각-시각 교차감각은 서로 다른 두 감각 채널 간의 상호작용이다. 오늘날 미디어 환경은 멀티모달리티(multi-modality)가 강화되는 방향으로 발전하고 있다. 다양한 미디어 분야에서 청각과 시각의 상호작용성은 커뮤니케이션 효과와 사용자 몰입도를 증강하는 요인이다. 다가올 미디어 환경에서 청각과 시각의 서로 다른 두 감각 간의 상호작용성을 효과적으로 활용하기 위한 디지털 미디어에서의 소리-시각화 프레임워크 연구가 요구된다. 연구방법 먼저 공감각과 교차감각의 메커니즘에 대하여 고찰하였다. 다음 단계로, 사례통합분석 방법론으로 청각-시각 교차감각의 선행연구 패턴을 분석하여 청각-시각 교차감각의 속성을 도출하였다. 마지막으로, 청각-시각 교차감각의 속성을 적용한 청각–시각 관계에 관한 조합 매트릭스를 개발하였다. 연구결과 소리 속성 중 하나인 음고는 모든 연구에서 일관되게 명도와 관련이 있었다. 채도는 배음과 가장 관련이 있었으며 음고와 음량, 템포에 의해서도 영향을 받았다. 공감각과 일반인의 교차감각 모두에서 공통으로 정확히 일치하는 색의 정의는 단정할 수 없으나, 음악적 정서나 촉각적 심상 등의 공유된 감성을 매개로 하여 유사한 색채 반응이 나타나는 경향성을 확인하였다. 결론 지금까지 시청 공감각에 대한 연구는 제한된 조건과 일반화하기에 적은 표본으로 수행된 경우가 대부분이다. 본 연구는 다른 문화권과 다른 시기에 다양한 조건과 연구방법으로 수행된 연구들을 종합하여 공감각 속성 및 교차감각 패턴을 도출할 수 있었다. 또한, 이를 토대로 미디어를 이용한 소리 시각화에 있어서 청각-시각 정보의 조합 매트릭스를 활용한 소리-시각화 프레임워크를 제안하였다는 데 그 의의가 있다.

Background Cross-modality of auditory and visual senses is the interaction between these two different sensory channels. Today media environments are evolving towards the reinforcement of multi-modality. In various fields using media, the interaction between hearing and sight is an element that strengthens communication effect and user’s immersion level. Therefore, it is needed to study the way to visualize sound for the coming digital media era, by analyzing the framework of interactions between two different senses: auditory and visual. Methods Firstly, we discussed about mechanisms of synesthesia and cross-modal integration. Then the cross-modal patterns of auditory and visual senses were analyzed by the cross-case analysis methodology. And the properties of cross-modality of auditory and visual senses was derived. Also, data applied with properties of audio-visual cross-modal integration was used to illustrate matching framework in variety of ways. Result Consistent association between pitch and brightness was found in all studies. Chroma had the biggest relevance to overtone and was also related to pitch, volume, and tempo. We could not define exact match of color sets for synesthesia and cross-modal integration. However, there was a tendency of showing similar color responses through shared emotional experiences from musical and tactile experiences. Conclusion Until now, most of the researches for audio-visual synesthesia were conducted with limited conditions and too small number of samples to generalize the result. In this study, however, we were able to derive the pattern of synesthesia and cross-modal integration by combining studies performed under variety of conditions and methods. These studies were conducted in different cultural areas and times. Also, based on gathered data, we could study the way to visualize sound from media. Various frameworks for mapping auditory data with visual data were used.

#Sound Visualization #Synesthesia #Cross-Modality

참고문헌 (26)

참고문헌 신청

김용철 / 2005 / 공감각의 형성요인에 관한 연구 : 촉감, 음감, 색감의 관계성을 중심으로

양혜린 / 2016 / 3D-Touch 인터페이스에서 지각된 촉각-시각 모달리티의 일치성이 사용자 인지반응에 미치는 영향 / 한국HCI학회 학술대회 :110~112

이윤정 / 2012 / 영화에서의 사운드 역할과 분석 - “인셉션”을 중심으로 - / 디지털디자인학연구 12(4):221~230

이재현 / 2013 / 뉴미디어 이론 / 커뮤니케이션북스

황지영 / 2011 / 전자음향의 시각화에 관한 연구 / 한국공학예술학회 논문지

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

소속기관

주요연구분야

논문수 이용수

소속기관

주요연구분야

논문수 이용수

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (26)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

최근 본 자료

댓글(0)