멀티모달 분석 기반 어텐션 우울증 감지 모델 설계 및 구현 :Design and Implementation of Attention Depression Detection Model Based on Multimodal Analysis

박준희

추천

검색

자료유형: 학위논문

저자정보: 박준희 (호서대학교, 호서대학교 일반대학원)

지도교수: 문남미

발행연도: 2022

저작권: 호서대학교 논문은 저작권에 의해 보호받습니다.

이용수93

이 논문의 연구 히스토리 (2)

2022

멀티모달 분석 기반 어텐션 우울증 감지 모델 설계 및 구현

박준희 컴퓨터공 2022.01 학위논문

2021

AI 스피커를 활용한 어텐션 메커니즘 기반 멀티모달 우울증 감지 시스템

박준희 , 문남미 한국방송미디어공학회 학술발표대회 논문집 2021.06 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

본 논문은 사용자로부터 얻을 수 있는 음성 및 텍스트 데이터를 동시에 사용하는 멀티모달 분석 기반 어텐션 우울증 감지 시스템을 제안한다. 우울증 장애는 지속적으로 환자수가 증가하여 사회적으로 문제가 되고 있기 때문에 이를 멀티모달분석을 통해 해결하고자 한다. 제안하는 모델은 텍스트 전처리, 음성 전처리, 멀티모달 분석 및 융합모델로 구성되어있다. 전처리 단계에서 음성 파일은 로그-멜 스펙트로그램으로 변환하고 랜덤 샘플링 작업을 진행하여 우울증과 비우울증에 대한 균형을 50:50의 비율로 학습데이터세트를 구축한다. 로그-멜 스펙트로그램은 어텐션이 적용된 CNN-BiLSTM(Convolutional Neural Network-Bidirectional Long-Short Term Memory) 모델을 통해 특징을 내포하고 있는 벡터를 구한다. 텍스트 데이터는 분석을 위해 Transformers Tokenizer를 사용하여 임베딩 벡터 형태로 전처리하고 우울증 라벨을 기준으로 데이터의 균형을 50:50으로 맞추는 랜덤 샘플링을 진행한다. 임베딩 벡터는 BERT(Bidirectional Encoder Representations from Transformers)-CNN 모델의 파인튜닝을 위해 사용하고 최종적으로 우울증을 분류하기 위한 특징 벡터를 구한다. 최종적으로 각각의 음성 및 텍스트 분석 모델에서 추출된 특징 벡터를 연결하고 SoftMax 함수를 사용하여 우울증을 감지하는 것으로 한다.
본 논문의 실험은 불안, 우울증 및 외상 후 스트레스와 같은 심리적 고통 상태의 진단을 지원하도록 설계된 임상 인터뷰인 DAIC-WOZ 데이터셋을 사용하여 진행한다. 음성 데이터는 전처리 과정에서 각각 음성 길이 및 멜 필터 개수 비교를 통해 4초 길이와 128개로 설정하였다. 텍스트 데이터는 인터뷰의 피험자 텍스트 데이터를 사용하고 Transformers Tokenizer를 사용하여 임베딩 벡터를 도출하였다. 각각의 데이터를 기반으로 본 논문에서 제안한 BERT-CNN 및 CNN-BiLSTM을 모델을 적용하고 결합하여 우울증을 분류하였다. 데이터는 학습 데이터, 검증 데이터, 테스트 데이터의 비율을 5.2:0.8:2로 구성하여 분류를 진행하였다.
실험을 통해 멀티모달 데이터를 사용하였을 경우와 단일 데이터를 사용하였을 경우에 대한 각각의 정확도와 손실도를 비교하였으며 기존의 낮은 정확도를 개선함을 확인하였다.

In this paper, we propose a multimodal analysis-based attention depression detection system that simultaneously uses voice and text data obtained from users. Depressive disorder is becoming a social problem due to the continuous increase in the number of patients, so we intend to solve it through multimodal analysis. The proposed model consists of text preprocessing, voice preprocessing, multimodal analysis, and fusion model. In the preprocessing stage, the audio file is converted into a log-mel spectrogram. Transform and perform random sampling to build a training dataset with a 50:50 balance between depression and non-depression. The log-mel spectrogram obtains a vector containing features through an attention CNN-BiLSTM (Convolutional Neural Network-Bidirectional Long-Short Term Memory) model. For analysis, text data is preprocessed in the form of an embedding vector using Transformers Tokenizer, and random sampling is performed to balance the data 50:50 based on the depression label. The embedding vector is used for fine tuning of the BERT(Bidirectional Encoder Representations from Transformers)-CNN model and finally a feature vector for classifying depression is obtained. Finally, we connect the feature vectors extracted from each speech and text analysis model to detect depression using the SoftMax function.
The experiments in this paper are conducted using the DAIC-WOZ dataset, a clinical interview designed to support the diagnosis of psychological distress conditions such as anxiety, depression, and post-traumatic stress. The voice data was set to 4 seconds in length and 128 by comparing the length of the voice and the number of Mel filters, respectively, in the preprocessing process. For text data, we used the subject text data of the interview and derived the embedding vector using BERT Tokenizer. Based on each data, the BERT-CNN and CNN-BiLSTM proposed in this paper were applied and combined to classify depression. The data was classified by configuring the ratio of training data, verification data, and test data to 5.2:0.8:2.
Through the experiment, the accuracy and loss degree were compared between the case of using multimodal data and the case of using single data, and it was confirmed that the existing low accuracy was improved.

#딥러닝 #인공지능 #멀티모달 분석 #자연어처리 #음성신호처리 #어텐션 메커니즘 #LSTM #우울증 감지

목 차
Ⅰ. 서론 1
1. 연구 배경 1
2. 연구 목적 3
Ⅱ. 관련연구 4
1. 우울증 감지 4
가. 텍스트 데이터 분류 4
나. 음성 데이터 분류 7
다. 멀티모달 분류 10
2. 어텐션 메커니즘 10
Ⅲ. 어텐션 메커니즘 기반 우울증 감지 시스템 13
1. 시스템 개요 13
2. 텍스트 분석 모델 15
3. 음성 분석 모델 17
가. 음성 데이터 전처리 18
나. 어텐션 메커니즘 기반 CNN-BiLSTM 21
4. 멀티모달 융합 모델 22
Ⅳ. 실험 24
1. 실험 구성 24
가. DAIC-WOZ 데이터셋 24
2. 실험 및 결과 26
가. 텍스트 분석 모델 26
나. 음성 분석 모델 24
다. 멀티모달 융합모델 29
라. 실험 결과 30
Ⅴ. 결론 32
참고문헌 33
영문초록 37

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)