지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.10
- 수록면
- 1,604 - 1,617 (14page)
- DOI
- 10.7840/kics.2021.46.10.1604
이용수
초록· 키워드
오류제보하기
딥러닝(Deep Learning)은 최근 다양한 분야에서 폭넓게 사용되고 있으며, 특히 자연어 처리, 음성 인식, 이미지 분류, 특징 추출 및 기계 번역과 같은 최신 기술에서의 급격한 발전을 가져왔다. 막대한 양의 데이터와 복잡한 태스크(Task)를 처리하기 위해 신경망(Neural Networks)이 커짐에 따라, 신경망의 계층(Layer)과 파라미터(Parameter)가 많아지면서 계산 집약적인 기술들이 가능해지도록 하였다. 이러한 큰 규모의 심층신경망(Deep Neural Networks, DNNs)이 한정적인 자원의 기기들에서 동작할 수 있을 뿐만 아니라 러닝(Learning)을 가속하기 위해 연합 학습(Federated Learning)이라는 병렬 처리(Parallelization) 기법이 등장하게 되었다. 본 논문에서는 데이터 병렬 처리(Data Parallelism), 모델 병렬 처리(Model Parallelism), 하이브리드 병렬 처리(Hybrid Parallelism), 그리고 파이프라인 병렬 처리(Pipeline Parallelism)의 네 가지 병렬 처리 방법을 소개하고자 한다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 연합 학습의 개요
Ⅲ. 데이터 병렬 처리 기법
Ⅳ. 모델 병렬 처리 기법
Ⅴ. 하이브리드 병렬 처리 기법
Ⅵ. 파이프라인 병렬 처리 기법
Ⅶ. 결론
References
참고문헌 (31)
참고문헌 신청
T. Young, D. Hazarika, S. Poria, and E. Cambria, “Recent trends in deep learning based natural language processing,” IEEE Computational Intell. Mag., vol. 13, no. 3, pp. 55-75, 2018.
L. Deng, G. Hinton, and B. Kingsbury, “New types of deep neural network learning for speech recognition and related applications: An overview,” in 2013 IEEE Int. Conf. Acoustics, Speech and Signal Process., pp. 8599-8603, May 2013.
T. H. Chan, K. Jia, S. Gao, J. Lu, Z. Zeng, and Y. Ma, “PCANet: A simple deep learning baseline for image classification?,” IEEE Trans. Image Process., vol. 24, no. 12, pp. 5017-5032, 2015.
S. Dara and P. Tumma, “Feature extraction by using deep learning: A survey,” in 2018 2nd Int. Conf. Electron., Commun. and Aerospace Technol. (ICECA), pp. 1795-1801, Mar. 2018.
S. P. Singh, A. Kumar, H. Darbari, L. Singh, A. Rastogi, and S. Jain, “Machine translation using deep learning: An overview,” in 2017 Int. Conf. Comput., Commun. and Electron. (Comptelix), pp. 162-167, Jul. 2017.
L. Deng, G. Hinton, and B. Kingsbury, “New types of deep neural network learning for speech recognition and related applications: An overview,” in 2013 IEEE Int. Conf. Acoustics, Speech and Signal Process., pp. 8599-8603, May 2013.
T. H. Chan, K. Jia, S. Gao, J. Lu, Z. Zeng, and Y. Ma, “PCANet: A simple deep learning baseline for image classification?,” IEEE Trans. Image Process., vol. 24, no. 12, pp. 5017-5032, 2015.
S. Dara and P. Tumma, “Feature extraction by using deep learning: A survey,” in 2018 2nd Int. Conf. Electron., Commun. and Aerospace Technol. (ICECA), pp. 1795-1801, Mar. 2018.
S. P. Singh, A. Kumar, H. Darbari, L. Singh, A. Rastogi, and S. Jain, “Machine translation using deep learning: An overview,” in 2017 Int. Conf. Comput., Commun. and Electron. (Comptelix), pp. 162-167, Jul. 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
대규모 딥러닝 네트워크 구조를 위한 다중 머신 환경에서의 딥러닝 모델의 병렬 처리
한국정보과학회 학술발표논문집
2022 .06
-
함수형 반응적 프로그램 병렬화 기법
한국정보과학회 학술발표논문집
2015 .06
-
파이프라인 병렬화를 통한 데이터 평면 최적화
한국정보과학회 학술발표논문집
2018 .12
-
Performance Analysis on Varying Parallelism for Different Distributed Data Processing Workloads
한국정보과학회 학술발표논문집
2019 .12
-
다차원 텐서 병렬화 기술 연구 동향
대한전자공학회 학술대회
2023 .06
-
금형 프레스 실시간 평행도 변화의 시험 및 측정
한국생산제조학회지
2020 .02
-
Selection of Network Topologies at Solving Certain Class of Problems on Distributed Computer Systems
제어로봇시스템학회 국제학술대회 논문집
2015 .10
-
비동기식 모델 병렬화를 사용한 Multi-GPU기반 딥 러닝 분산처리 시스템
한국정보과학회 학술발표논문집
2017 .06
-
사이클 단위 메모리 수준 병렬성 분석을 위한 빠르고 정확한 방법
한국정보과학회 학술발표논문집
2024 .06
-
확장축을 포함한 병렬역학 기계의 평행도 오차 측정
한국정밀공학회 학술발표대회 논문집
2018 .10
-
Tile-level and Frame-level Parallel Encoding for HEVC
방송공학회논문지
2015 .05
-
클라우드 환경에서 효율적인 대규모 작업처리를 위한 컨테이너 내부 병렬성 자동 최적화 기술 연구
정보과학회 컴퓨팅의 실제 논문지
2024 .11
-
데이터 병렬적 딥러닝의 성능분석
한국정보과학회 학술발표논문집
2022 .12
-
인 메모리 데이터베이스에서 저장 프로시저 병렬성 향상 기법
한국정보과학회 학술발표논문집
2017 .12
-
멀티코어를 이용한 차선 검출 병렬화 시스템 설계
한국정보통신학회논문지
2016 .09
-
Parallelism Error Compensation of a Large Volume Laser Machining Robot using a Laser Interferometer
Journal of the Korean Society for Precision Engineering
2019 .10
-
PipeTPC: 통신 시간을 고려한 Pipeline Parallelism 기반 DNN 훈련시간 예측 모델
한국정보과학회 학술발표논문집
2024 .06
-
딥러닝 모델 병렬 처리
[ETRI] 전자통신동향분석
2018 .08
-
Performance Analysis of HEVC Parallelization Methods for High-Resolution Videos
IEIE Transactions on Smart Processing & Computing
2015 .02
-
어텐션 네트워크에 내재된 병렬성을 이용한 FPGA 가속기 개발
한국정보과학회 학술발표논문집
2020 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0