청각과 시각의 교차감각 매핑에 의한 인터랙티브 사운드 시각화 연구 :Interactive sound visualization by cross-modal mapping between auditory and visual senses

김희정

추천

검색

자료유형: 학위논문

저자정보: 김희정 (홍익대학교, 홍익대학교 영상대학원)

지도교수: 오동우

발행연도: 2018

저작권: 홍익대학교 논문은 저작권에 의해 보호받습니다.

이용수37

이 논문의 연구 히스토리 (2)

2018

청각과 시각의 교차감각 매핑에 의한 인터랙티브 사운드 시각화 연구

김희정 2018.01 학위논문

청각과 시각의 교차감각 매핑에 의한 소리 시각화 연구

김희정 , 오동우 한국디자인포럼 2018.01 학술저널

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

인간을 둘러싼 외부환경은 청각, 시각, 촉각 등의 다중감각 환경으로 이루어져 있다. 각각의 감각 채널을 통해 들어온 감각정보는 뇌에서 서로 연결되어 상호작용하며 통합적으로 지각된다. 청각-시각 교차감각은 이러한 서로 다른 두 감각 채널 간의 상호작용이다. 오늘날 미디어 환경은 멀티모달리티(multi-modality)가 강화되는방향으로 발전하고 있다. HCI, 광고, 영화, 미디어 아트 등 미디어를 이용한 다양한 분야에서 청각과 시각의 상호작용성은 커뮤니케이션 효과와 몰입도를 강화하는 요소이다. 이 연구에서는 청각-시각 교차감각에 의한 사운드 시각화 방법을 모색하기위하여, 사례연구를 통해 청각-시각 교차감각의 속성을 분석하고, 이를 토대로 디지털 미디어에서 청각정보와 시각정보를 매핑하는 사운드 시각화 프레임워크를 제시하였다.
이를 위해 먼저 감각과 감각정보에 관한 본질적인 개념을 고찰하였다. 감각과 지각, 공감각과 교차감각의 메커니즘에 대하여 알아보고, 청각과 시각의 지각과정 및 청각정보와 시각정보가 가지는 속성에 대하여 고찰하였다.
다음 단계로, 청각과 시각의 교차감각의 세부적인 속성을 분석하기 위하여 다양한 조건에서 수행된 연구사례들을 선정한 후, 사례통합분석 방법론으로 청각-시각 교차감각의 패턴을 분석하였다. 그리고 사례통합분석의 결론으로 청각-시각 교차감각의 매칭 매트릭스를 도출하였다.
교차감각 매칭 매트릭스를 토대로 소리의 시각화 프레임워크를 실험 제작하였다. 프레임 워크에서는 청각-시각 교차감각의 속성을 적용하여 다양한 방법으로 청각정보와 시각정보를 매핑하였다. 또한, 가설 검증을 위하여 교차감각 시뮬레이션 애플릿 실험을 하였다. 이를 통해 음의 특성 및 개인별 교차감각에 따라 나타나는 시각화 결과를 확인하였다. 그리고 소리의 시각화 프레임워크를 적용하여 청각-시각 교차감각을 디지털미디어에서 활용할 수 있는 다양한 가능성을 모색하였다.

The external environments around human beings are comprised of multisensory surroundings such as hearing, sight and touch. The sensory information received through each sensory channel is connected in the brain and interacts with each other. Then, it is finally perceived in an integrated way. Cross-modality of auditory and visual senses is the interaction between these two different sensory channels. Today media environments are evolving towards the reinforcement of multi-modality. In various fields like HCI, advertisements, movies and media art using media, the interaction between hearing and sight is an element that strengthens communication effect and immersion level. In order to find a sound visualization method based on cross-modality of auditory and visual senses, this study analyzed the properties of the cross-modality through case studies. On the basis of this, the study presented a sound visualization framework that maps the auditory and the visual information in digital media.
For this purpose, the essential concepts of sense and sensory information were first studied. Sense vs perception and the mechanisms of synesthesia and cross-modality were examined. Then the perception process of auditory and visual senses and the respective properties of the auditory and visual information were also looked into.
In the next step, the research cases performed under various conditions were selected in order to analyze the detailed properties of cross-modality of auditory and visual senses. Then the cross-modal patterns of auditory and visual senses were analyzed by the cross-case analysis methodology. And a matching matrix of cross-modality of auditory and visual senses was derived from the conclusion of the cross-case analysis.
Based on this matching matrix, a sound visualization framework was experimentally built. The framework mapped the auditory and visual information in various ways through applying the properties of the cross-modality. In addition, cross-modality simulation applet experiments were conducted for the hypothesis verification. Through this process, the visualization results appearing according to the characteristics of the sound and the individual cross-modality were seen. And many attempts were made to find various possibilities to utilize cross-modality of auditory and visual senses in digital media by applying the sound visualization framework.

Ⅰ. 서론 10
1. 연구의 배경 및 목적 10
2. 연구문제 13
3. 연구가설 13
4. 연구방법 및 절차 14
Ⅱ. 감각에 관한 인지적 고찰 16
1. 감각과 지각 16
2. 공감각과 교차감각 17
2.1 공감각의 개념 17
2.2 다중 감각 통합과 교차감각 22
3. 청각과 시각의 공감각과 교차 감각 24
4. 청각의 구조 24
4.1 청각기관의 구조 25
4.2 청각의 지각 27
5. 청각 정보 28
5.1 소리의 개념 28
5.2 음고 29
5.3 음량 32
5.4 음색 33
6. 시각의 구조 35
6.1 시각기관의 구조 35
6.2 시각의 지각 36
7. 시각정보 38
7.1 빛의 특성 38
7.2 색의 과학적 특성 39
7.3 RGB와 HSB 색공간 41
7.4 색의 심리적 특성 42
Ⅲ. 소리의 시각연상에 관한 사례연구 44
1. 사례연구 방법론 44
1.1 사례연구 방법론 고찰 44
1.2 사례통합연구 방법론 46
2. 소리 시각연상 사례통합분석 48
2.1 사례연구의 목적 48
2.2 사례선택 48
2.3 분석단위 50
2.4 분석도구 51
2.5 사례통합분석 (cross-case analysis) 51
3. 청각-시각 교차감각 매칭 매트릭스 61
Ⅳ. 소리의 시각화 프레임워크 69
1. 소리의 시각화 개요 69
1.1 소리의 시각화 프레임워크 설계 69
1.2 프로세싱 사운드 라이브러리 73
2. 소리의 시각화 매핑 프레임워크 연구 75
2.1 음고와 명도의 매핑 75
2.2 주파수 음역대와 음량에 대한 HSB 컬러와 파티클사이즈 매핑 77
2.3 주파수 음역대와 음량에 따른 사운드 시각화 79
2.4 인터랙티브 사운드 매핑 1 - 옥타브와 음계의 공감각 컬러 87
2.5 인터랙티브 사운드 매핑 2 - 목소리 녹음에 의한 사운드 시각화 89
2.6 교차감각 시뮬레이션 ? 개인별 컬러 선택 에 의한 사운드 시각화 92
3. 연구 결과 97
Ⅴ. 결론 99
참고문헌 102
APPENDIX 110
ABSTRACT 131

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)