딥러닝과 증강현실을 활용한 스마트 과업 지원에 관한 연구 :Research on Smart Task Assistance using Deep Learning and Augmented Reality

박경범

추천

검색

자료유형: 학위논문

저자정보: 박경범 (전남대학교 )

지도교수: 이재열

발행연도: 2023

저작권: 전남대학교 논문은 저작권에 의해 보호받습니다.

이용수7

이 논문의 연구 히스토리 (4)

2023

딥러닝과 증강현실을 활용한 스마트 과업 지원에 관한 연구

박경범 산업공학과 2023.01 학위논문

2022

딥러닝을 활용한 웨어러블 증강현실 기반 핸즈 프리 작업 지원 방법

박경범 , 최성호 , 문홍주 외 1명 대한산업공학회 추계학술대회 논문집 2022.11 학술대회자료

2019

증강현실 환경에서 딥러닝과 Point Cloud를 활용한 실 객체 매칭 방법

박경범 , 최성호 , 김민석 외 1명 한국경영과학회 학술대회논문집 2019.04 학술대회자료

증강현실 환경에서 딥러닝과 Point Cloud를 활용한 실 객체 매칭 방법

박경범 , 최성호 , 김민석 외 1명 대한산업공학회 춘계공동학술대회 논문집 2019.04 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

최근 가상이나 추상을 의미하는 메타(Meta)와 현실 세계를 의미하는 유니버스(Universe)의 합성어인 메타버스(Metaverse) 기술이 많은 각광을 받고 있다. 메타버스는 가상과 현실이 상호작용하고, 그 속에서 많은 사람들이 사회, 경제, 문화 활동을 하면서 가치를 창출하는 세상을 의미한다. 이를 통해 일과 여가 활동을 시공간의 제약없이 메타버스에서 효과적으로 경험할 수 있다. 메타버스를 이루는 핵심 기술은 가상현실(Virtual reality, VR)과 증강현실(Augmented reality, AR) 기술로써, 특히 증강현실은 실제 환경을 바탕으로 알맞은 위치에 가상의 정보를 증강하여 많은 분야에서 조립, 유지보수, 훈련, 원격 협업 등의 다양한 과업 지원 형태로 활용하고 있다.
대부분의 기존 방법은 마커나 센서를 통해 증강할 정보의 위치를 설정하는 마커 기반 증강현실을 활용하고 있다. 하지만 마커 기반 증강현실은 마커를 가리거나 마커가 훼손되었을 경우에 인식이 제대로 되지 않고, 평평한 부분이 없는 복잡한 환경에서는 마커 부착이 어려운 문제점이 존재한다. 이에 따라 마커가 없는 환경에서 과업 지원을 위해 정보를 증강할 위치를 정확하게 파악하여 정보를 가시화할 필요가 있다. 최근에는 딥러닝 기술의 발전으로 영상 내에서 다양한 객체를 정확히 인식하거나 검출하는 딥러닝 기술이 연구되고 있다. 이를 통해 의료 영상 분석이나 제조 불량 검출, 객체의 3D 자세 추정 등의 시간과 비용을 많이 소모하는 작업을 자동으로 빠르고 정확하게 분석할 수 있다. 하지만 객체 분할이나 3D 자세 추정과 같은 복잡한 객체 검출 기법을 학습하기 위한 라벨링(labeling) 작업은 매우 어렵고, 많은 시간과 비용이 필요하다는 문제가 존재한다. 이를 해결하기 위한 비지도 및 자기 지도 학습 기반 딥러닝 기술 또한 필요하다.
본 연구에서는 딥러닝을 통해 2차원 영상에서 다양한 객체를 정확히 검출하는 기술과 모바일 및 웨어러블 기기를 통해 실제 환경에 3차원 정보를 가시화하는 증강현실 기술을 함께 활용한 스마트 과업 지원 연구를 제안하고자 한다. 첫 번째, 제조 및 의료 산업에서 수집한 다양한 데이터 세트를 바탕으로 특정 영역을 분할 생성하는 딥러닝 방법을 제안한다. 두 번째, 다양한 객체를 실시간으로 검출하는 딥러닝 기반 객체 검출 기법을 증강현실에 적용하여 사용자에게 필요한 정보를 효과적으로 제공하는 스마트 과업 지원 시스템을 제안하고자 한다. 마지막으로 2D 영상에서 객체의 3D 자세를 추정하기 위해 3D 자세에 대한 실제 정답 데이터(ground truth)가 없는 데이터 세트로 학습하는 자기 지도 학습 기반 객체의 3D 자세 추정 방법을 제안한다. 또한, 직접 수집한 데이터 세트를 통해 학습 및 평가를 진행하고, 증강현실 환경에 적용하여 다양한 3D 과업 지원 정보를 직관적으로 제공하고자 한다. 제안하는 세 가지 연구 방법에 대한 효과를 확인하기 위해 비교 분석을 실시한 결과, 제안하는 방법이 기존 방법들에 비해 효과적이고 우수한 결과를 도출했다.

Recently, the metaverse, a compound word of Meta which means virtual or abstract and Universe which means the real world, comes into the limelight. The metaverse is a world where many people create value through social, economic, and cultural activities from interaction within both virtual and reality. The core technologies which make up the metaverse are virtual reality (VR) and augmented reality (AR) technologies. Especially, AR can superimpose 3D virtual information in appropriate locations based on the real environment. Thus, AR can be effectively used in various smart task assistance applications, such as assembly, maintenance, training, and remote collaboration.
Most of the existing AR applications utilize fiducial markers which set the location of information to be visualized in the real environment. However, marker-based AR applications have inherent problems. They cannot properly recognize objects when the marker is occluded partially, and it is more difficult to attach markers to the real objects with complex geometric shape. Therefore, it is challenging to augment and visualize 3D information on the proper locations in real environment without markers. Recently, deep learning-based detection and segmentation approaches has been conducted to detect and segment various objects accurately in RGB only images. Thus, these approaches can quickly and accurately analyze time-consuming and costly tasks such as medical image analysis, manufacturing defect detection, and 3D pose estimation for AR. However, labeling tasks for object segmentation and 3D object pose estimation are very difficult and require a lot of time and cost. To solve this problem, unsupervised and self-supervised learning-based deep learning approaches are needed.
This thesis proposes a new approach to smart task assistance for worker using deep learning-based object detection approaches and mobile and wearable AR technologies. First, this thesis proposes new deep learning-based segmentation methods which can conduct domain-specific segmentation from RGB images accurately and robustly for medical and manufacturing applications. Second, it presents an AR-based smart task assistance method using deep learning-based object detection and segmentation. Finally, it proposes a self-supervised learning-based 3D object pose estimation for AR-based smart task assistance without time-consuming ground truth labeling. An AR-based smart task assistance system was implemented to provide effective and user-centric visualization and interaction for assembly and maintenance tasks. Comparative analyses were conducted and evaluated to confirm the effectiveness and originality of the proposed methods.

#Augmented reality #deep learning #image segmentation #object pose estimation #smart task assistance

1. 서론 1
가. 연구 배경 및 필요성 1
나. 연구 목적 및 내용 6
2. 이론적 배경 14
가. 인공지능 14
1) 인공지능의 개념 14
2) 인공지능 산업의 전망 15
3) 인공지능의 종류 17
4) 인공지능 기술의 산업 적용 사례 24
나. 증강현실 27
1) 증강현실의 개념 27
2) 증강현실 산업의 전망 29
3) 증강현실의 특징 30
4) 증강현실의 기술 동향 및 적용 사례 32
3. 관련 연구 36
가. 딥러닝 기반 객체 인식 연구 36
1) 객체 분류 36
2) 객체 검출 41
3) 영상 분할 47
4) 객체 자세 추정 55
나. 가상 및 증강현실을 활용한 정보 제공 및 상호작용 연구 62
1) 가상현실을 활용한 정보 제공 및 상호작용 연구 63
2) 증강현실을 활용한 정보 제공 및 상호작용 연구 68
다. 딥러닝과 증강현실을 융합한 과업 지원 연구 73
라. 기존 연구 요약 및 문제점 제시 76
4. 제조 및 의료 분야 적용을 위한 딥러닝 기반 영상 분할 기법 80
가. 중첩 U-Net을 활용한 표면 결함 영역 분할 80
1) 표면 결함 영역 분할을 위한 NC-Net 소개 80
2) NC-Net의 구조 82
3) 비교 실험 및 논의 87
나. Transformer를 활용한 대장 용종 영역 분할 94
1) 대장 용종 영역 분할을 위한 SwinE-Net 소개 94
2) SwinE-Net의 구조 97
3) 비교 실험 및 논의 100
5. 딥러닝과 증강현실을 융합한 스마트 과업 지원 107
가. 딥러닝 기반 영상 분할 기법을 활용한 3D 클론 객체 생성 108
1) 영상 분할 기법을 활용한 3D 클론 객체 생성 소개 108
2) 웨어러블 증강현실 기기를 활용한 3D 클론 객체 생성 110
3) 핸드 헬드 증강현실 기기를 활용한 3D 클론 객체 생성 113
4) 실험 및 논의 117
나. 딥러닝 기반 3D 매칭 기법을 활용한 객체 자세 추정 121
1) 영상 분할 기법을 활용한 3D 매칭 소개 121
2) 3D 매칭 기반 객체 자세 추정 방법 123
3) 실험 및 논의 127
6. 자기 지도 학습 기반 객체의 3D 자세 추정과 증강현실 기술 응용 133
가. 객체의 3D 자세 추정을 위한 딥러닝 모델 설계 및 학습 134
1) 제안하는 자기 지도 학습 기반 객체의 3D 자세 추정 방법 개요 134
2) 객체의 3D 자세 추정을 위한 딥러닝 모델 구조 140
3) 2D-3D 매칭을 활용한 객체의 3D 자세 추정 방법 142
나. 성능 개선을 위한 새로운 자기 지도 학습 방법 145
1) 객체의 3D 자세 추정을 위한 자기 지도 학습 방법 145
2) 실험 및 논의 147
다. 증강현실 환경에서의 스마트 과업 지원 응용 153
1) 증강현실 기반 스마트 과업 지원 시스템 153
2) 디지털 트윈 기반 스마트 로봇 조작 시스템 154
3) 웨어러블 증강현실 기기 기반 핸즈 프리 과업 지원 시스템 156
7. 결론 159
가. 결과 요약 159
나. 본 연구의 기여점 161
다. 본 연구의 한계점 및 추후 연구 164
참고문헌 166
Abstract(영문초록) 189

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (4)

초록· 키워드

목차

최근 본 자료

댓글(0)