지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 이재환
- 발행연도
- 2021
- 저작권
- 한국항공대학교 논문은 저작권에 의해 보호받습니다.
이용수6
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
다수의 GPU를 사용하여 모델 병렬화 수행 시 Pipelining을 적용하여 GPU의 사용률을 증가시킬 수 있다. 또한, Pipelining을 효과적으로 적용하기 위해 모델 병렬화 수행 시 사용되는 GPU의 수와 GPU memory 크기 기반으로 효율적으로 mini-batch를 나눌 수 있는 기법을 제안한다. 다수의 GPU를 사용할 수 없는 환경의 경우, CUDA unified memory 기술을 적용함으로써 시스템 메모리를 통합하여 사용할 수 있다. 본 논문에서는 open source 딥러닝 프레임워크 중 하나인 Pytorch에 CUDA unified memory 기술을 적용하여 GPU 메모리를 확장할 수 있는 방안을 제시한다. 또한, 딥러닝 수행 시 데이터의 종류에 따른 효율적인 CUDA memory advise 활용 방안을 실험을 통해 보여준다. 제안한 스플릿 크기 탐색 알고리즘을 사용하여 pipelining이 적용된 모델 병렬화를 수행할 경우, 기존의 모델 병렬화를 수행했을 때보다 처리량이 최대 약 12% 증가하였으며 학습 가능한 mini-batch 크기 또한 25% 증가하였다. 또한, 딥러닝 수행 시 필요한 데이터를 세 가지 종류로 나누어 적절한 memory advise를 적용함으로써 일반적인 unified memory와 비교하면 딥러닝 수행 시간이 최대 9.4% 감소함을 확인했다.
목차
제 1 장 서론 1제 2 장 Multi-GPU를 통한 GPU Memory 확장. 62.1 연구 배경. 62.1.1 Model parallelism. 62.1.2 Pipelining 72.2 제안하는 설계 및 구현 방안 82.2.1 효율적인 모델 병렬화 구조. 82.2.2 Split 크기 탐색 알고리즘. 112.3 실험 및 결과 분석 12제 3 장 CUDA unified memory를 통한 GPU memory 확장 173.1 연구 배경 173.1.1 CUDA unified memory 173.1.2 CUDA memory advise. 183.2 제안하는 설계 및 구현 방안 203.2.1 딥러닝 데이터의 접근 패턴. 203.2.2 Pytorch로의 구현 233.3 실험 및 성능 분석 303.3.1 Memory advise에 따른 학습 시간 303.3.2 GPU page fault 프로파일링 35제 4 장 관련 연구 43제 5 장 결론 및 향후 연구 48참고 문헌 50SUMMARY 55
최근 본 자료
댓글(0)
0