지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
이용수
초록· 키워드
오류제보하기
Multimodal interfaces are recognition-based technologies that interpret and encode hand gestures, eye-gaze, movement pattern, speech, physical location and other natural human behaviors. Modality is the type of communication channel used for interaction. It also covers the way an idea is expressed or perceived, or the manner in which an action is performed. Multimodal Interfaces are the technologies that constitute multimodal interaction processes which occur consciously or unconsciously while communicating between human and computer. So input/output forms of multimodal interfaces assume different aspects from existing ones. Moreover, different people show different cognitive styles and individual preferences play a role in the selection of one input mode over another. Therefore to develop an effective design of multimodal user interfaces, input/output structure need to be formulated through the research of human cognition. This paper analyzes the characteristics of each human modality and suggests combination types of modalities, dual-coding for formulating multimodal interaction. Then it designs multimodal language and input synchronization method according to the granularity of input synchronization. To effectively guide the development of next-generation multimodal interfaces, substantially cognitive modeling will be needed to understand the temporal and semantic relations between different modalities, their joint functionality, and their overall potential for supporting computation in different forms. This paper is expected that it can show multimodal interface designers how to organize and integrate human input modalities while interacting with multimodal interfaces.
목차
ABSTRACT
1. 서론
2. 연구배경
3. 관련 연구
4. 입력 모달리티 분석
5. 입력 모달리티 결합
6. 멀티모달 입력문법
7. 입력 통합
8. Dual-Prompt
9. 인터랙션 메커니즘 설계
10. 토론 및 향후 연구
참고 문헌
저자 소개
참고문헌 (21)
참고문헌 신청
[학술지(정기간행물)] - Alan Wexelblat / 1995 / An approach to natural gesture in virtual environments / ACM Transactions on Computer-Human Interaction(TOCHI) 2 : 179 ~ 200
[학술대회논문] - Cohen, P.R / 1997 / QuickSet: Multimodal Interaction for Simulation Set-up and Control / the fifth con- ference on Applied natural language processing : 20 ~ 24
[학술지(정기간행물)] - Adam, Cheter / 1998 / MVIEW: Multimodal Tools for the Video Analyst / IUI98 : 55 ~ 62
[단행본] - Somsak Walairach / 2002 / 4 + 4 fingers manipulating virtual objects in mixedreality environment(Teleoperators and Virtual Enviro- nments) : 11 ~
[단행본] - Buchmann, S / 2004 / FingARtips: gesture based direct manipulation in Augmented Reality(In Pro- ceedings of the 2nd international conference on Computer graphics and interactive techniques in Australasia and SouthEast Asia) / ACM Press : 212 ~ 221
[학술대회논문] - Cohen, P.R / 1997 / QuickSet: Multimodal Interaction for Simulation Set-up and Control / the fifth con- ference on Applied natural language processing : 20 ~ 24
[학술지(정기간행물)] - Adam, Cheter / 1998 / MVIEW: Multimodal Tools for the Video Analyst / IUI98 : 55 ~ 62
[단행본] - Somsak Walairach / 2002 / 4 + 4 fingers manipulating virtual objects in mixedreality environment(Teleoperators and Virtual Enviro- nments) : 11 ~
[단행본] - Buchmann, S / 2004 / FingARtips: gesture based direct manipulation in Augmented Reality(In Pro- ceedings of the 2nd international conference on Computer graphics and interactive techniques in Australasia and SouthEast Asia) / ACM Press : 212 ~ 221
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Multimodal interaction with a pen-computer
대한전자공학회 워크샵
1994 .01
-
Multimodal Interaction with a Pen-Computer
대한전자공학회 워크샵
1994 .01
-
W3C 기반 상호연동 가능한 멀티모달 커뮤니케이터
방송공학회논문지
2015 .01
-
Design and Implementation of a Multimodal Input Device Using a Web Camera
[ETRI] ETRI Journal
2008 .08
-
A Study in Emotional Interaction design of Multimodal & Multimedia User Interface
한국멀티미디어학회 학술발표논문집
2006 .05
-
지능형 사용자 인터페이스를 위한 멀티모달 상호작용 프레임워크
Proceedings of KIIT Conference
2007 .06
-
멀티모달 사용자 인터페이스 기술 동향
한국정보기술학회지
2005 .12
-
멀티 모달 기반 Turn-Taking
대한전자공학회 학술대회
2015 .11
-
기계학습기반의 멀티모달센서를 이용한 인간의 자세 및 행동 인식
한국정밀공학회 학술발표대회 논문집
2016 .10
-
Data model of Multimodal Visual Interface
한국정보과학회 학술발표논문집
2011 .06
-
Multimodal 센서를 이용한 웨어러블 헬스케어 장치
제어로봇시스템학회 국내학술대회 논문집
2018 .05
-
멀티모달 센서를 이용한 실내위치 추적
한국정밀공학회 학술발표대회 논문집
2016 .05
-
Motion based Human-Robot Interface with Multimodal Cognitive Perception for Remote Collaboration
제어로봇시스템학회 국내학술대회 논문집
2013 .05
-
음성인식 및 영상처리 기반 멀티모달 입력장치의 설계
제어로봇시스템학회 논문지
2007 .08
-
긴급 상황의 정확한 인지를 위한 멀티 모달 딥러닝 방법 설계
제어로봇시스템학회 국내학술대회 논문집
2019 .05
-
Adaptive Multimodal In-Vehicle Information System for Safe Driving
[ETRI] ETRI Journal
2015 .06
-
Wearable Telepresence System with Multimodal Communication Channels for Effective Human-Robot Interaction
정보과학회지
2006 .03
-
다중 센서 기반 재난환경 통합관제 시스템을 위한 사용자 인터페이스
제어로봇시스템학회 국내학술대회 논문집
2019 .05
-
Automatic Human Emotion Recognition from Speech and Face Display - A New Approach
한국정보과학회 학술발표논문집
2011 .06
-
A Survey of Multimodal Systems and Techniques for Motor Learning
JIPS(Journal of Information Processing Systems)
2017 .01
이 논문의 저자 정보
이 논문과 함께 이용한 논문
비접촉 제스처를 활용한 3 차원 조형 시스템 제스처 인터페이스 디자인
손민지
,
유승헌
한국HCI학회 학술대회
2016
.01
멀티모달 NUI/NUX 프레임워크에 관한 연구
이광형
,
신동규
,
신동일
한국통신학회 학술대회논문집
2014
.06
Natural User Interface: Freehand Gestures and Mouse Gestures for controlling Web Browser
Vu Tien-dung
,
Huyn-A Pa
,
k
외 1명
한국HCI학회 학술대회
2014
.02
디젤엔진과 가솔린엔진음의 방사음 특성 비교 분석 및 음질평가를 위한 인공엔진음 합성
박범
,
이민섭
,
박준홍
대한기계학회 춘추학술대회
2012
.11
스마트 TV 기능에 대한 제스처 적합성 분석에 관한 연구
이재홍
,
권상현
,
유일선
외 3명
한국HCI학회 학술대회
2013
.01
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2009-530-017128003