기계와 인간과의 접점이 점차 증가함에 따라, 개별 사용자 이해에 따른 최적의 서비스를 제공해주기 위한 인간-기계 또는 인간-로봇 분야에서의 사용자 감정 및 의도 이해에 대한 필요성이 점차 증가하고 있다. 사람의 감정과 의도 처리는 두뇌의 고차 인지적 기능들에 포함되며, 사용자의 내재적 표현 (뇌 신호 및 생체 신호 등)에 대한 이해없이 외재적 표현 (표정, 말, 행동 등) 이해만으로는 사람의 감정과 의도 이해에 무리가 있다. 본 논문은 인간과 기계간의 상호작용 중 개별 사용자에게 최적의 서비스 제공을 위하여, 고차 인지 상태를 추정 가능한 뇌파 (Electroencephalography, EEG) 신호를 이용한 사용자 감정 및 의도 추정 방법과 추정된 감정과 의도 간의 관련성을 계산 모델로 구현하였다.
사용자의 고차 인지 상태인 감정과 의도를 이해하기 위하여, 본 논문에서는 다음의 두가지 접근을 제안한다.
1) PLV(phase locking value) 특징점 네트워크 분석 기반의 의도, 감정 인식 및 공통 전극쌍 비율(common pair ratio, CPR) 연결성 분석을 이용한 네트워크 레벨에서의 감정과 의도 간의 관련성 분석
2) 심화 학습 모델 기반의 감정 인식기, 의도 인식기 개발 및 감정과 의도 간의 베이지안 추론 프레임워크 분석
PLV 특징점 기반의 사용자 의도 및 감정 인식에서는, MSP(most significant electrode pairs) 알고리즘을 활용하여 각 피험자 별로 유의미한 전극 네트워크 정보를 추출한다. 추출된 유의미한 전극쌍의 PLV 값을 이용하여 사용자 의도 인식기를 학습시키며, 테스트 데이터에 대해서 RBF 커널(radial basis kernel) 기반의 서포트 벡터 머신 (support vector machine, SVM)이 가우시안 혼합 모델 (Gaussian mixture model, GMM)과 네이브 베이즈 분류기 (Naive Bayes classifier) 보다 좋은 성능을 보이는 것을 확인하였다. 해당 특징점 추출 방법은 사용자 감정 인식의 감각 응답 시스템의 입력으로 사용되었으며, PLV 특징점 기반 감정 인식기는 심리학 기반의 감정에 대한 인지 모델을 참고하여 구현되었다. 감정에 대한 인지 모델은 인간의 감정 처리를 외부 자극 수용 시스템, 감각 응답 시스템, 도식화 시스템, 그리고 도식화 된 내용을 분류하는 개념적 시스템의 4개 부분으로 나눈다. 감정에 대한 인지 모델의 4개 부분 중 외부 자극 인식 부분을 제외한 나머지 3 부분을 구현하여, 감정 인식기를 학습시켰다. 즉, 감각 응답 시스템은 MSP 알고리즘 기반의 PLV 네트워크 추출로 구현되었으며, Fuzzy-C means 군집화 알고리즘과 적응형 신경 퍼지 추론 시스템 (Adaptive neuro fuzzy inference system, ANFIS)을 활용하여 도식화 시스템과 개념적 시스템을 구현하였다. 구현 모델의 일반화 성능은 세타 주파수 대역에서 높게 나타났지만, 다른 주파수 대역의 결과와 유의미한 차이는 없었다. 연구실 실험 데이터 세트에 대하여 평균 55~60% 성능을 확인할 수 있었으며, 공용 데이터 세트에 대해서는 평균 53~58%의 성능을 확인하였다. 사용자 경험을 증진시키기 위한 한가지 방안으로써, 감정과 이해 관련성의 연구는 사용자에게 효율적인 서비스를 제공하기 위한 중요한 요소이다. 감정과 의도 간의 관련성을 PLV 네트워크 레벨에서 분석하기 위하여 공통 전극쌍 비율을 적용하였다. 공통 전극쌍 비율 분석을 통하여, 사용자의 정보적 의도와 긍정적 감정 사이의 연관성을 확인할 수 있었다. 즉, 사용자의 정보적 의도와 관련된 전극 쌍은 사용자의 부정적 감정과 관련된 전극 쌍보다 사용자의 긍정적 감정과 관련된 전극 쌍과 더 많이 관련이 있었다.
특징점 기반의 의도와 감정 분류기 성능을 증진시키기 위하여, 많은 양의 학습 데이터를 기반으로 한 심화학습 모델을 연구에 적용하였다. 많은 양의 뇌파 학습 데이터를 확보하기 위하여 독립성분분석과 진화 연산 기반의 뇌파 데이터 증강 기법을 설계하였다. 제안 뇌파 데이터 증강 기법은 성분 영역(component domain)과 센서 영역(sensor domain)에서의 데이터 처리로 이루어진다. 우선 학습데이터에서 각 클래스 별로 독립 성분들을 모은다. 각 클래스 별로 정리된 독립 성분들에 대하여 중복된 정보를 줄이기 위하여, 상호정보량을 기준으로 서로 연관성인 적은 독립 성분들을 선택한다. 선택된 독립 성분들 중 일부에 대하여 교차 과정(crossover)이 수행되며, 선택 과정과 교차 과정을 K번 진행하여 해당 클래스를 잘 표현할 수 있는 독립 성분들로 정리한다. K번 반복 수행 중, 선택되거나 생성된 독립 성분의 전체 상호정보량의 합이 최소일 때, 센서 영역으로 생성된 독립성분들을 사영한다. 센서 영역에서 변이(mutation)와 교차 과정을 통하여 최종적으로 데이터가 생성된다. 시간-주파수 도메인에서 주파수 축으로 이동하는 convolution 커널과 시간 축으로 이동하는 convolution 커널로 구성된 합성곱 신경망(convolutional neural network, CNN)과 장단기 메모리(long-short term memory, LSTM)를 이용하여 분류기를 설계하였다. 제안된 데이터 증강 방법으로 학습된 감정 인식기의 성능은 비교 데이터 증강 방법들에 비하여 뛰어난 성능(84.922%)을 보여주었으며, 기존 특징점 추출 기반 방법들에 비해서도 뛰어난 성능을 보여주었다. 제안된 데이터 증강 방법으로 학습된 의도 인식기도 PLV 기반의 특징점 기반 방법에 비하여 뛰어난 성능을 보여주었다.
감정과 의도를 기계학습 방법으로 연결하기 위하여, 베르누이 확률 분포 기반의 베이지안 추론 프레임워크를 고려하였다. 즉, 심화학습 기반의 감정 인식기와 의도 분류기를 하나의 에이전트로 고려하여, 베르누이 확률분포 기반의 베이지안 추론 프레임워크를 각 분류기의 출력을 이용하여 구현하였다. 사전 확률 파라미터와 우도 함수 파라미터가 binary Gibbs Metropolis sampler로부터 샘플링 되었으며, 사후 확률 분포 p(E|I_N )과 p(I_I |E)에 대한 생성 샘플들을 테스트 세트의 데이터와 비교하여 샘플링의 성능을 확인할 수 있었다.