지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 정기석
- 발행연도
- 2021
- 저작권
- 한양대학교 논문은 저작권에 의해 보호받습니다.
이용수2
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
최근 컨볼루션 신경망의 깊이가 깊어짐에 따라 신경망의 연산량과 매개변수의 수가 크게 증가하였다. 이러한 연산량과 메모리 사용량을 줄이기 위하여 신경망을 압축하는 프루닝 기법이 활발히 연구되고 있다.
프루닝 이후, 층의 특성에 따라서 각 층의 희소성이 크게 달라진다. 가중치가 희소한 경우 대부분의 컨볼루션 연산 결과는 0이며 이는 불필요한 연산에 해당된다. 이러한 의미가 없는 연산을 피하기 위하여 기존의 연구들에서 가중치 희소성을 고려하는 방법이 제안됐다. 하지만 기존 연구들에서는 입력 활성값 또한 희소성이 높을 수 있다는 것에 대한 고려가 부족하였다. 정류 선형 유닛 (ReLU) 함수는 간단하지만 매우 효과적이기 때문에 많이 사용되는 활성 함수이다. ReLU 함수의 특성으로 인해 입력 활성값의 희소성은 높게 관측된다 (최대 85%). 따라서, 의미 없는 연산 수행을 최소화하여 컨볼루션 신경망을 가속하려면 입력 활성값의 희소성과 가중치의 희소성을 모두 고려해야한다.
본 논문에서는 입력 활성값이 희소한 조건에서 가중치 희소성을 고려한 새로운 가속 방법으로 직접 변환 (Direct Conversion)을 제안한다. 직접 변환은 3차원 입력 텐서를 한번에 압축 포맷으로 변환하는 방법이다. 이 방법은 두가지 방법 중 하나를 선택적으로 적용한다. 첫 번째 방법은 입력 활성값은 희소하고 가중치는 밀집할 때 적용하는 image to Compress Sparse Row (im2CSR) 이다. 두 번째 방법은 입력 활성값과 가중치 모두 희소할 때 적용하는 image to Compressed Sparse Overlapped Activations (im2CSOA) 이다. 실험 결과, 제안하는 방법인 직접 변환은 임베디드 환경에서 기존 방법보다 추론 속도를 최대 2.82 배까지 향상시켰다.
프루닝 이후, 층의 특성에 따라서 각 층의 희소성이 크게 달라진다. 가중치가 희소한 경우 대부분의 컨볼루션 연산 결과는 0이며 이는 불필요한 연산에 해당된다. 이러한 의미가 없는 연산을 피하기 위하여 기존의 연구들에서 가중치 희소성을 고려하는 방법이 제안됐다. 하지만 기존 연구들에서는 입력 활성값 또한 희소성이 높을 수 있다는 것에 대한 고려가 부족하였다. 정류 선형 유닛 (ReLU) 함수는 간단하지만 매우 효과적이기 때문에 많이 사용되는 활성 함수이다. ReLU 함수의 특성으로 인해 입력 활성값의 희소성은 높게 관측된다 (최대 85%). 따라서, 의미 없는 연산 수행을 최소화하여 컨볼루션 신경망을 가속하려면 입력 활성값의 희소성과 가중치의 희소성을 모두 고려해야한다.
본 논문에서는 입력 활성값이 희소한 조건에서 가중치 희소성을 고려한 새로운 가속 방법으로 직접 변환 (Direct Conversion)을 제안한다. 직접 변환은 3차원 입력 텐서를 한번에 압축 포맷으로 변환하는 방법이다. 이 방법은 두가지 방법 중 하나를 선택적으로 적용한다. 첫 번째 방법은 입력 활성값은 희소하고 가중치는 밀집할 때 적용하는 image to Compress Sparse Row (im2CSR) 이다. 두 번째 방법은 입력 활성값과 가중치 모두 희소할 때 적용하는 image to Compressed Sparse Overlapped Activations (im2CSOA) 이다. 실험 결과, 제안하는 방법인 직접 변환은 임베디드 환경에서 기존 방법보다 추론 속도를 최대 2.82 배까지 향상시켰다.
목차
제1장 서 론 1제1절 연구 동기 1제2절 연구 목표 3제2장 배경 및 관련 연구 5제1절 기존 가속 방법 5제2절 희소한 데이터 발생 원인 8제3절 희소한 데이터 압축 방법 11제4절 희소한 데이터 연산 방법 13제3장 제안하는 방법 15제1절 희소한 데이터를 활용한 기존 방법의 문제점 15제2절 활성값 및 가중치의 희소성 추정 16제3절 직접 변환 가속 방법 18제4장 실험 방법 및 결과 24제1절 실험 환경 24제2절 큰 스케일 네트워크 25제3절 작은 스케일 네트워크 27제5장 결 론 29참고문헌 30영문요지 33
최근 본 자료
댓글(0)
0