메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색

논문 기본 정보

자료유형
학위논문
저자정보

박상진 (인하대학교, 인하대학교 대학원)

지도교수
송병철
발행연도
2023
저작권
인하대학교 논문은 저작권에 의해 보호받습니다.

이용수0

표지
AI에게 요청하기
추천
검색

이 논문의 연구 히스토리 (2)

2023

시선의 학습 난이도를 고려한 특징 변환 기반 시선 전향 학습 방법
박상진 방송과 미디어 2023.04 학술저널
학습 난이도를 고려한 특징 변환 기반 시선 표현 학습 및 확률적 그래디언트를 사용한 적대적 정화 기법
박상진 전기컴퓨터공학과 2023.01 학위논문

초록· 키워드

오류제보하기
본 연구의 목표는 딥러닝 모델을 기반으로 시선 전향 문제를 통해 미세한 시선 표현을 학습하는 것과 적대적 공격에 취약한 신경망을 방어하는 것이다. 먼저, 시선 전향은 얼굴 또는 눈 영상의 시선을 원하는 방향으로 조정하는 task이며 신경망 기반 생성기를 통해 얼굴 영상의 시선 방향을 학습하는 것을 목표로 한다. 하지만, 선행 시선 표현 학습 연구들은 제한된 시선 방향만을 학습하였으며 고차원 시선 특징의 명시적인 차별 학습이 이루어지지 않았다. 본 논문은 상기 한계들을 극복하기 위한 해법을 제시한다. 먼저, 나는 잠재 특징 공간 상에서 다양한 시선 방향에 상응하는 시선 특징을 제공하는 특징 단계 변환을 제안한다. 두 번째로, 나는 시선 특징의 차별 학습을 위한 새로운 손실 함수를 제안한다. 구체적으로, 시선과 관련 없거나 중요도가 떨어지는 (예. 머리 자세와 외모) 특징들은 부정 쌍으로, 중요한 시선 특징들은 긍정 쌍로 설정한 뒤, 쌍 별 유사도 학습이 수행된다. 결과적으로, 제안된 방법은 GazeCapture 데이터셋에서 2도의 전향 오차를 보여주었다. 이 수치는 최신 기법인 STED 보다 10% 우수한 성능이다. 게다가, 다양한 특성들의 잠재 특징이 차별화되어야 하는 이유가 활성화 맵 시각화를 통해 제시된다.

한편, 딥러닝 기반 시선 표현 학습이 시선 추정 및 의도 파악과 같은 다양한 응용 분야에 적용됨에 따라, 데이터 기반 접근 방식에 의한 사생활 침해와 악의적으로 만들어진 적대적 공격에 대한 신경망의 취약성이 심각한 문제로 여겨지고 있다. 본 논문은 적대적 공격을 방어하기 위한 기법에 초점을 맞춘다. 적대적 기법에 대한 방어 연구는 적대적 예제로 분류기를 훈련하는 적대적 학습과 분류 전 적대적 영상을 정화하는 적대적 정화 기법이 있다. 하지만 적대적 훈련 기법은 훈련에 사용된 공격만을 방어할 수 있으며 적대적 정화 기법은 white-box 공격에 매우 취약하다는 단점이 있다. 최근, 에너지 기반 모델과 확산 모델이 효과적인 적대적 정화 기법으로 부상하였지만 큰 비용과 느린 추론 속도로 실제 적용에 한계가 있었다. 한편, 상기 두 가지 방법론들을 주류로, 적대적 공격을 방어하기 위해 추론 시마다 다른 신경망을 사용하도록 무작위 신경망을 구축하는 기법이 연구되었다. 이렇게 함으로써, 공격자는 white-box 환경에서도 추론 시 사용되는 모델을 특정할 수 없기 때문에 적대적 예제를 생성하기 위한 모델의 그래디언트를 활용할 수 없게 된다. 이러한 무작위 신경망에서 영감을 얻어, 나는 딥러닝 기반 생성 모델에 무작위성을 부여해 확률적 그래디언트를 유발하는 Stochastic Adversarial Purifier (SAP)를 제안한다. 제안된 모델은 U-Net과 같은 구조를 가져 한번의 전방향 패스만으로 동작하기 때문에 에너지 기반 모델 및 확산 모델에서 발생하는 오버헤드가 발생하지 않는다. 모델에 무작위성을 부여하기 위해, 우리는 신경망 층의 가중치에 무작위 가우시안 잡음을 추가하여 추론 시마다 모델이 다른 동작을 하도록 만든다. 또한, 생성 모델이 훈련된 분류기와 독립적으로 훈련되기 때문에 정상 영상의 분류 성능에 영향을 덜 받을 수 있다. 제안하는 SAP는 최근 적대적 정화 기법들과 대적할 만한 성능을 내며 적은 비용과 빠른 추론 속도를 달성하였다.

목차

1 서론 1
1.1 시선 표현 학습 1
1.2 적대적 공격 및 방어 3
2 종래기술 6
2.1 시선 전향 6
2.2 특징 수준 변환 7
2.3 심층 매트릭 학습 8
2.4 적대적 공격 9
2.5 적대적 방어 10
3 시선 표현 학습 14
3.1 제안 기법 14
3.1.1 문제 공식화 및 개요 14
3.1.2 시선 난이도 고려 학습 16
3.1.3 구조화된 시선 손실 함수 17
3.1.4 전체 손실 함수 20
3.2 실험 결과 20
3.2.1 실험 환경, 데이터셋과 평가 방법 20
3.2.2 정량적 실험 결과 23
3.2.3 정성적 실험 결과 25
3.2.4 Abalation Study 26
4 확률적 적대적 정화기 31
4.1 문제 공식화 31
4.2 확률적 적대적 정화기 33
4.3 실험 결과 34
4.3.1 실험 환경 및 구현에 대한 세부사항 34
4.3.2 정량적 결과 36
4.3.3 무작위 성에 따른 강인함 평가 38
4.3.4 시선 추정의 강인함 평가 39
5 Conclusion 43
References 45

최근 본 자료

전체보기

댓글(0)

0