지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2023.5
- 수록면
- 60 - 69 (10page)
- DOI
- 10.5573/ieie.2023.60.5.60
이용수
초록· 키워드
오류제보하기
Stylization은 주어진 이미지를 원하는 특정 스타일로 변환하는 기술이다. 초기의 연구에서는 그래디언트를이용한 연구가 진행되었으나, 최근에는 고품질의 얼굴 이미지 생성이 가능한 생성 모델의 발전으로, 생성망을 활용한 stylization 기술이 발전되어왔다. 이 중 JoJoGAN은 GAN inversion을 통해 찾아낸 참조 스타일의 잠재 벡터와 임의의 노이즈의 가중합 통해 fine-tuning이 가능한 학습 과정을 소개했으며, 한 장의 참조 이미지만을 사용해 우수한 스타일 변환이 가능함을 보였다. 하지만 기존 가중합 기반 스타일 결합은 단순 선형 결합 형태로써 스타일 코드를 표현하는 매니폴드가 제한되는 문제점을 갖는다. 따라서 해당 잠재공간을 활용한 stylization 결과물은 미세한 표현을 효과적으로 반영하지 못함과 동시에 다양성에서 한계를 갖는다. 이러한 문제점을 해결하고자 본 논문에서는 두 가지 방법을 제안한다. 첫 번째로 다양성과 생성 품질을 높이기 위한 비선형적 스타일 결합으로써 스타일 잠재 공간을 폭 넓게 구성하는 방법이다. 이는 확장된 스타일 공간에서의 다양한 샘플링을 가능하게 함으로써 결과물의 품질 및 다양성을 향상시킨다. 두 번째로 스타일 결합에 있어서 공간적 장기 의존성을 파악해 의미 있는 스타일 특징의 조합을 만들어낼 수 있도록 계층별 Transformer 구조를 활용했다. 즉, coarse, middle, fine 계층에 대해 별도로 독립적인 신경망을 두어 스타일 코드를 인코딩한다. 제안하는 방법을 통해 전체적 외형은 원본의 외형을 따르도록 하고 미세영역에 대해 참조 스타일을 반영하도록 유도함으로써, 정량적/정성적/주관적 실험 결과를 통해 개선된 stylization 성능을 확인했다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 제안 방법
Ⅳ. 실험 결과
Ⅴ. 결론
REFERENCES
참고문헌 (23)
참고문헌 신청
L. A. Gatys, A. S. Ecker and M. Bethge, "Image style transfer using convolutional neural networks," in Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 2414-2423, 2016.
B. Jeon and J. Jeong, "Blocking artifacts reduction in image compression with block boundary discontinuity criterion," IEEE transactions on circuits and systems for video technology, vol. 8, no. 3, pp. 345-357, Jun. 1998.
G. Ghiasi, H. Lee, M. Kudlur, V. Dumoulin and J. Shlens, "Exploring the structure of a real-time, arbitrary neural artistic stylization network," ArXiv preprint arXiv:1705.06830, May. 2017.
J. N. M. Pinkney and D. Adler, "Resolution dependent gan interpolation for controllable image synthesis between domains," arXiv preprint arXiv:2010.05334, Oct. 2020.
J. Back, "Fine-Tuning StyleGAN2 For Cartoon Face Generation," arXiv preprint arXiv:2106.12445, Jun. 2021.
B. Jeon and J. Jeong, "Blocking artifacts reduction in image compression with block boundary discontinuity criterion," IEEE transactions on circuits and systems for video technology, vol. 8, no. 3, pp. 345-357, Jun. 1998.
G. Ghiasi, H. Lee, M. Kudlur, V. Dumoulin and J. Shlens, "Exploring the structure of a real-time, arbitrary neural artistic stylization network," ArXiv preprint arXiv:1705.06830, May. 2017.
J. N. M. Pinkney and D. Adler, "Resolution dependent gan interpolation for controllable image synthesis between domains," arXiv preprint arXiv:2010.05334, Oct. 2020.
J. Back, "Fine-Tuning StyleGAN2 For Cartoon Face Generation," arXiv preprint arXiv:2106.12445, Jun. 2021.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
최적 전송을 이용한 웨이블릿 변환 기반의 스타일 변환
한국통신학회 학술대회논문집
2021 .02
-
Diverse Motion Stylization using Spatial-Temporal Graph-Based Networks
한국컴퓨터그래픽스학회 학술대회
2022 .07
-
최적 전송을 이용한 웨이블릿 변환 기반 실사적 스타일 변환
한국통신학회논문지
2021 .09
-
CLIP을 이용한 텍스트 기반의 포인트 클라우드 스타일화
대한전자공학회 학술대회
2022 .06
-
다중 스타일 변환 관한 연구
한국통신학회 학술대회논문집
2019 .01
-
다양성 및 안정성 확보를 위한 스타일 전이 네트워크 손실 함수 정규화 기법
방송공학회논문지
2020 .11
-
Language Style Transfer Based on Surface-Level Neutralization
Journal of KIISE
2020 .02
-
도메인 일반화에서 스타일 매니폴드를 고려한 공분산 기반 스타일 증강기법
한국정보과학회 학술발표논문집
2023 .06
-
GAN의 수정된 생성자에 의한 다중 도메인 스타일 트랜스퍼
한국컴퓨터정보학회논문지
2022 .07
-
비모수 스타일 변환 기법
대한전자공학회 학술대회
2022 .06
-
초-고해상도 영상 스타일 전이
방송공학회논문지
2022 .01
-
실감형 3D 도시 모델을 위한 건물 텍스쳐 스타일 변환기 설계
대한공간정보학회 학술대회
2022 .05
-
스타일 변환 기반 에지 탐지 기법
대한전자공학회 학술대회
2022 .06
-
경험으로 본 일본의 업무 스타일
설비저널
2016 .08
-
실내 생활 환경을 담은 3차원 Mesh 모델에 실제와 같은 texture 및 색상을 입히는 연구
대한전자공학회 학술대회
2022 .06
-
트래픽: 여행 사진을 위한 스타일 변환 서비스
Proceedings of KIIT Conference
2020 .10
-
이미지 생성 AI 파인튜닝과 활용 사례 - 실내 공간 상세 스타일 키워드를 중심으로 -
한국CDE학회 논문집
2023 .12
-
k-평균 알고리즘을 활용한 음성의 대표 감정 스타일 결정 방법
한국음향학회지
2019 .01
-
실버 세대들의 심리정서지원을 위한 스타일 돌봄 프로그램 개발 및 효과성 검증 연구
한국산학기술학회 논문지
2024 .10
-
변형 자동 인코더를 활용한 모션 스타일 이전
컴퓨터그래픽스학회논문지
2021 .12
이 논문의 저자 정보
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2023-569-001472408