지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.49 No.6
- 발행연도
- 2022.6
- 수록면
- 407 - 415 (9page)
- DOI
- 10.5626/JOK.2022.49.6.407
이용수
초록· 키워드
오류제보하기
대부분의 딥 러닝(Deep Learning) 시스템은 모델의 훈련 및 검증을 위해 많은 시간을 소모한다. 그러나, 단일 쓰레드(Single Thread) 기반의 데이터 전처리 및 배치 과정으로 인해 대기 시간(Wait Time)이 발생하고 그 결과GPU 및 CPU의 사용률을 낭비하는 경향이 있다. 본 논문에서는 멀티 쓰레드(Multi Thread) 기반으로 모델의 훈련 및 검증 과정을 효율적으로 수행하기 위한 새로운 기법을 제안한다. 제안 기법은 모델 복사 과정을 사용함으로써 훈련과 검증 과정을 최대한 중첩(Overlapping)시키며, 그 결과 전반적인 CPU와 GPU의 사용률을 향상시킨다. 제안 기법을 평가하기 위해 우리는 텐서플로우(TensorFlow)을 이용하여 합성곱 신경망(CNN)을 구현하였다. 실험 결과, 제안 기법이 기존 기법 대비 전체 훈련 및 검증 시간을 22.4% 단축시키는 것을 확인할 수 있었다.
목차
요약
Abstract
1. 서론
2. 연구배경
3. 제안 기법
4. 구현 및 실험
5. 결론
References
참고문헌 (22)
참고문헌 신청
B. Kim, H. Kim, S. W. Lee, G. Lee, D. Kwak, D. H. Jeon, S. Park, S. Kim, D. Seo, H. Lee, M. Jeong, S. Lee, M. Kim, S. H. Ko, S. Kim, T. Park, J. Kim, S. Kang, N. H. Ryu, K. M. Yoo, M. Chang, S. Seo, S. In, J. Park, K. Kim, H. Kim, J. Jeong, Y. G. Yeo, D. H, D. Park, M. Y. Lee, J. Kang, I. Kang, J. W. Ha, W. Park, N. Sung, "What changes can large-scale language models bring? intensive study on hyperclova: Billions-scale korean generative pretrained transformers," arXiv preprint arXiv:2109.04650, 2021.
Y. H. Yoo, H. J. Jeong, M. S. Mook, "Analyzing the Execution Time of Different DNN Hidden Layer Types During Inference Under GPU Contention," Journal of KIISE, Vol. 26, No. 2, pp. 463-468, 2020. (in Korean)
M. Cho, D. Kang, "L2LRU: Learning-based Page Movement Policy for LRU Page Replacement Policy," Journal of KIISE, Vol. 48, No. 9, pp. 981-987, 2021. (in Korean)
M. A. Zinkevich, M. Weimer, A. Smola, L. Li, "Parallelized stochastic gradient descent," Proc. of the International Conference on Neural Information Processing Systems, Vol. 4, No. 1, pp. 2595-2603, 2010.
J. Dean, G. Corrado, R. Monga, K. Chen, M. Devin, M. Mao, M. Ranzato, A. Senior, P. Tucker, K. Yang, Q. Le, A. Ng, "Large scale distributed deep networks," Proc. of the Advances in Neural Information Processing Systems, Vol. 25, pp. 1223-1231, 2012.
M. Cho, D. Kang, "L2LRU: Learning-based Page Movement Policy for LRU Page Replacement Policy," Journal of KIISE, Vol. 48, No. 9, pp. 981-987, 2021. (in Korean)
M. A. Zinkevich, M. Weimer, A. Smola, L. Li, "Parallelized stochastic gradient descent," Proc. of the International Conference on Neural Information Processing Systems, Vol. 4, No. 1, pp. 2595-2603, 2010.
J. Dean, G. Corrado, R. Monga, K. Chen, M. Devin, M. Mao, M. Ranzato, A. Senior, P. Tucker, K. Yang, Q. Le, A. Ng, "Large scale distributed deep networks," Proc. of the Advances in Neural Information Processing Systems, Vol. 25, pp. 1223-1231, 2012.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
딥 러닝 훈련 시간 개선을 위한 쓰레드 기반 셔플링 기법
정보과학회 컴퓨팅의 실제 논문지
2022 .02
-
딥 러닝 연산을 위한 GPU/CPU 성능 분석
한국정보과학회 학술발표논문집
2022 .12
-
이기종 다중 CPU 코어 및 GPU 시스템에서 하드웨어 인터럽트를 고려한 CPU/GPU 스케쥴링 기법
정보과학회 컴퓨팅의 실제 논문지
2023 .01
-
IoT 디바이스에서 쓰레드 동작을 최적화하기 위한 CPU 중재자
정보과학회 컴퓨팅의 실제 논문지
2019 .12
-
History 기반 CPU 및 GPU 수행 결정 모듈
한국정보과학회 학술발표논문집
2015 .06
-
딥러닝 학습에서 Tensorflow의 분산 전략을 이용한 다중 GPU에서의 성능 분석
정보 및 제어 논문집
2020 .10
-
싱글 머신에서 CPU 기반 및 GPU 기반 그래프 엔진의 성능 평가
한국정보과학회 학술발표논문집
2018 .12
-
합성곱 신경망 사용을 위한 CPU와 GPU 성능 분석
한국정보기술학회논문지
2017 .08
-
임베디드 시스템에서 CPU와 GPU를 모두 이용한 CNN의 가속
한국정보과학회 학술발표논문집
2018 .06
-
CPU-GPU 구조 기반 능동 소음 제어 알고리즘 개발
한국소음진동공학회 학술대회논문집
2018 .10
-
효율적인 유량 측정 연산을 위한 CPU-GPU 결합 구조 기반의 초음파 신호 처리 기법
대한전자공학회 학술대회
2021 .11
-
Tensorflow 기반 GPU 메모리 효율적인 활용 방안 연구
한국정보과학회 학술발표논문집
2018 .06
-
동적 전압 및 주파수 조정 기반 CPU 와 GPU 의 통합 전력관리 기법
한국통신학회 학술대회논문집
2015 .01
-
CPU-GPU환경에서 효율적인 메모리공유를 위한 퓨전아키텍처 개발
한국전자통신학회 논문지
2016 .01
-
CPU-GPU 구조 기반 최소 자승 해 기반 능동 소음 제어 알고리즘 개발
한국소음진동공학회 학술대회논문집
2019 .02
-
볼륨 가시화를 이용한 모바일 GPU와 CPU의 성능 비교
한국컴퓨터그래픽스학회 학술대회
2016 .07
-
H-ETC2: 모바일을 위한 CPU-GPU 하이브리드 텍스처 압축 기법
한국컴퓨터그래픽스학회 학술대회
2024 .07
-
병렬 알고리즘의 가속화를 위한 GP-GPU의 Thread할당 기법
전기전자학회논문지
2017 .03
-
다목적 최적화를 활용한 CPU-GPU 이종 클러스터에서 작업 스케줄링 기법
한국정보과학회 학술발표논문집
2018 .12
-
고속 객체 검출을 위한 CPU-GPU 하이브리드 분산 시스템 설계 및 구현
한국정보과학회 학술발표논문집
2016 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
꽃 이미지 분류를 위한 텐서플로우 기반의 CNN 설계
김범준
,
김지민
,
김현수
외 3명
한국방송미디어공학회 학술발표대회 논문집
2018
.11
Overcoming a Zone Reclaiming Overhead with Partial-Zone Reclaiming
송인호
,
이원진
,
이재동
외 2명
Journal of KIISE
2024
.02
ZNS SSD에서 꼬리 응답 시간 개선을 위한 효율적인 F2FS GC 관리 기법
이만종
,
박종규
,
엄영익
정보과학회 컴퓨팅의 실제 논문지
2023
.04
딥 러닝 훈련 시간 개선을 위한 쓰레드 기반 셔플링 기법
최진서
,
강동현
정보과학회 컴퓨팅의 실제 논문지
2022
.02
최근 본 자료
댓글(0)
0