이미지 감성분류를 위한 CNN과 K-means RGB Cluster 이-단계 학습 방안

김정태; 박은비; 한기웅; 이정현; 이홍주

추천

검색

질문

자료유형: 학술저널

저자정보: 김정태 (가톨릭대학교) 박은비 (가톨릭대학교) 한기웅 (고려대학교) 이정현 (연세대학교) 이홍주 (가톨릭대학교)

저널정보: 한국지능정보시스템학회 지능정보연구 지능정보연구 제27권 제3호

발행연도: 2021.9

수록면: 139 - 156 (18page)

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

초록· 키워드

오류제보하기

이미지 분류에서 딥러닝 모형을 사용하는 가장 큰 이유는 이미지의 전체적인 정보에서 각 지역 특징을 추출하여 서로의 관계를 고려할 수 있기 때문이다. 하지만 이미지의 지역 특징이 없는 감정 이미지 데이터는 CNN 모델이 적합하지 않을 수 있다. 이러한 감정 이미지 분류의 어려움을 해결하기 위하여 매년 많은 연구자들이 감정 이미지에 적합한 CNN기반 아키텍처를 제시하고 있다. 색깔과 사람 감정간의 관계에 대한 연구들도 수행되었으며, 색깔에 따라 다른 감정이 유도된다는 결과들이 도출되었다. 딥러닝을 활용한 연구에서도 색깔정보를 활용하여 이미지 감성분류에 적용하는 연구들이 있어왔으며, 이미지만을 가지고 분류 모형을 학습한 경우보다 이미지의 색깔 정보를 추가로 활용한 경우가 이미지 감성 분류 정확도를 더 높일 수 있었다.
본 연구는 사람이 이미지의 감정을 분류하는 기준 중 많은 부분을 차지하는 색감을 이용하여 이미지 감성 분류 정확도를 향상시키는 방안을 제안한다. 이미지의 RGB 값에 K 평균 군집화 방안을 적용하여 이미지를 대표하는 색을 추출하여, 각 감성 클래스 별 해당 색깔이 나올 확률을 가중치 식으로 변형 후 CNN 모델의 최종 Layer에 적용하는 이-단계 학습방안을 구현하였다. 이미지 데이터는 6가지 감정으로 분류되는 Emotion6와 8가지 감정으로 분류되는 Artphoto를 사용하였다. 학습에 사용한 CNN 모델은 Densenet169, Mnasnet, Resnet101, Resnet152, Vgg19를 사용하였으며, 성능 평가는 5겹 교차검증으로 CNN 모델에 이-단계 학습 방안을 적용하여 전후 성과를 비교하였다. CNN 아키텍처만을 활용한 경우보다 색 속성에서 추출한 정보를 함께 사용하였을 때 더 좋은 분류 정확도를 보였다.

The biggest reason for using a deep learning model in image classification is that it is possible to consider the relationship between each region by extracting each region"s features from the overall information of the image. However, the CNN model may not be suitable for emotional image data without the image"s regional features. To solve the difficulty of classifying emotion images, many researchers each year propose a CNN-based architecture suitable for emotion images. Studies on the relationship between color and human emotion were also conducted, and results were derived that different emotions are induced according to color. In studies using deep learning, there have been studies that apply color information to image subtraction classification. The case where the image"s color information is additionally used than the case where the classification model is trained with only the image improves the accuracy of classifying image emotions.
This study proposes two ways to increase the accuracy by incorporating the result value after the model classifies an image"s emotion. Both methods improve accuracy by modifying the result value based on statistics using the color of the picture. When performing the test by finding the two-color combinations most distributed for all training data, the two-color combinations most distributed for each test data image were found. The result values were corrected according to the color combination distribution. This method weights the result value obtained after the model classifies an image"s emotion by creating an expression based on the log function and the exponential function.
Emotion6, classified into six emotions, and Artphoto classified into eight categories were used for the image data. Densenet169, Mnasnet, Resnet101, Resnet152, and Vgg19 architectures were used for the CNN model, and the performance evaluation was compared before and after applying the two-stage learning to the CNN model.
Inspired by color psychology, which deals with the relationship between colors and emotions, when creating a model that classifies an image"s sentiment, we studied how to improve accuracy by modifying the result values based on color. Sixteen colors were used: red, orange, yellow, green, blue, indigo, purple, turquoise, pink, magenta, brown, gray, silver, gold, white, and black. It has meaning. Using Scikit-learn"s Clustering, the seven colors that are primarily distributed in the image are checked. Then, the RGB coordinate values of the colors from the image are compared with the RGB coordinate values of the 16 colors presented in the above data. That is, it was converted to the closest color. Suppose three or more color combinations are selected. In that case, too many color combinations occur, resulting in a problem in which the distribution is scattered, so a situation fewer influences the result value. Therefore, to solve this problem, two-color combinations were found and weighted to the model. Before training, the most distributed color combinations were found for all training data images. The distribution of color combinations for each class was stored in a Python dictionary format to be used during testing. During the test, the two-color combinations that are most distributed for each test data image are found. After that, we checked how the color combinations were distributed in the training data and corrected the result. We devised several equations to weight the result value from the model based on the extracted color as described above.
The data set was randomly divided by 80:20, and the model was verified using 20% of the data as a test set. After splitting the remaining 80% of the data into five divisions to perform 5-fold cross-validation, the model was trained five times using different verification datasets. Finally, the performance was checked using the test dataset that was previously separated. Adam was used as the activation function, and the learning rate was set to 0.01. The training was performed as much as 20 epochs, and if the validation loss value did not decrease during five epochs of learning, the experiment was stopped. Early tapping was set to load the model with the best validation loss value. The classification accuracy was better when the extracted information using color properties was used together than the case using only the CNN architecture.

#이미지 감성분류 #색감 #이-단계 학습 #Sentiment Analysis of Image #Sense of Color #CNN #Two-stage learning

참고문헌 (38)

참고문헌 신청

Ali, A. R., U. Shahis, M. Ali, J. Ho, "High-Level Concepts for Affective Understanding of Images," arXiv:1705.02751v1, 2017, https://arxiv.org/abs/1705.02751

Argyris, Y. A., Z. Wang, Y. Kim, Z. Yin, "The effects of visual congruence on increasing consumers' brand engagement: An empirical investigation of influencer marketing on instagram using deep-learning algorithms for automatic image classification," Computers in Human Behavior, Vol. 112 (2020), 106443.

Chen, M., L. Zhang, J. P. Allebach, "Learning deep features for image emotion classification," Proceedings of 2015 IEEE International Conference on Image Processing(ICIP), Quebec, Canada, 2015, 4491~4495.

Corchs, S., E. Fersini, F. Gasparini, "Ensemble learning on visual and textual data for social image emotion classification," International Journal of Machine Learning and Cybernetics, Vol. 10, No. 8 (2019), 2057~2070.

Cruz, R. A., H. J. Lee, "The Brand Personality Effect: Communicating Brand Personality on Twitter and its Influence on Online Community Engagement," Journal of Intelligence and Information Systems, Vol. 20, No. 1 (2014), 67–101.

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

김정태

소속기관 가톨릭대학교

주요연구분야 공학 > 산업공학

논문수 2 이용수 551

박은비

소속기관 포항공과대학교

주요연구분야 공학 > 산업공학 사회과학 > 경영학

논문수 5 이용수 374

한기웅

소속기관 고려대학교

주요연구분야 공학 > 산업공학

논문수 2 이용수 280

이정현

소속기관 가톨릭대학교

주요연구분야 공학 > 산업공학 의약학 > 임상의학 > 치의학

논문수 11 이용수 880

이홍주

소속기관 가톨릭대학교

주요연구분야 공학 > 산업공학 TOP 5% 공학 > 컴퓨터학

논문수 55 이용수 9,219

이 논문과 함께 이용한 논문

Mammogram 특징 추출을 위한 maskSLIC 기반 CNN 분류 모델

박진혁 , 이병대 , 선우명훈 전자공학회논문지 2021 .10

머신러닝을 활용한 Edge 컴퓨팅 기반 에스컬레이터 이상 감지 및 결함 분류 시스템

이세훈 , 김지태 , 이태형 외 4명 한국컴퓨터정보학회 학술발표논문집 2020 .07

기계학습 모델 기반의 사진으로부터 감성 분석에 관한 연구

이나혁 , 이태민 디지털콘텐츠학회논문지 2021 .08

감정이미지 분류를 위한 CNN과 K-means RGB cluster앙상블 기법

한기웅 , 이정현 , 이홍주 한국지능정보시스템학회 학술대회논문집 2020 .06

사전 활성화 어텐션 모듈 기반 유방암 이미지 분류 방안

양석우 , 이홍주 한국지능정보시스템학회 학술대회논문집 2020 .06

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (38)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

이 논문과 함께 이용한 논문

최근 본 자료

댓글(0)