지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2024.1
- 수록면
- 51 - 54 (4page)
이용수
초록· 키워드
오류제보하기
본 논문에서는 온 디바이스 국방 AI를 위한 효율적인 학습 방법을 제안한다. 제안하는 방법은 모델 전체를 재학습하는 대신 필요한 부분만 세밀하게 조정하여 계산 비용과 시간을 대폭 줄이는 PEFT 기법의 LoRa를 적용하였다. LoRa는 기존의 신경망 가중치를 직접 수정하지 않고 추가적인 낮은 랭크의 매트릭스를 학습하는 방식으로 기존 모델의 구조를 크게 변경하지 않으면서도, 효율적으로 새로운 작업에 적응할 수 있다. 또한 학습 파라미터 및 연산 입출력에 데이터에 대하여 32비트의 부동소수점(FP32) 대신 부동소수점(FP16, FP8) 또는 정수형(INT8)을 활용하는 경량화 기법인 양자화도 적용하였다. 적용 결과 학습시 요구되는 GPU의 사용량이 32GB에서 5.7GB로 82.19% 감소함을 확인하였다. 동일한 조건에서 동일한 데이터로 모델의 성능을 평가한 결과 동일 학습 횟수에선 LoRa와 양자화가 적용된 모델의 오류가 기본 모델보다 53.34% 증가함을 확인하였다. 모델 성능의 감소를 줄이기 위해서는 학습 횟수를 더 증가시킨 결과 오류 증가율이 29.29%로 동일 학습 횟수보다 더 줄어듬을 확인하였다.
목차
요약
I. Introduction
II. Preliminaries
III. The Proposed Scheme
IV. Conclusions
REFERENCES
참고문헌 (0)
참고문헌 신청이 논문의 저자 정보
이 논문과 함께 이용한 논문
온디바이스 AI의 국방분야 적용 및 발전 방향
문대성
국방과 기술
2024
.08
이미지 분류 모델의 양자 합성곱 신경망 용 데이터 전처리 방식 간 성능 비교
최광열
,
박경근
,
김태현
한국정보과학회 학술발표논문집
2023
.12
[AI] 인터넷 필요 없는 손안의 비서 : 2024년은 ‘온디바이스AI’ 전쟁
박지훈
매경럭스맨
2024
.01
모빌리티 지능화를 위한 온디바이스 AI 기술의 활용 전략에 대하여
전병욱
오토저널
2023
.06
적대적 공격을 이용한 객체 탐지 모델의 취약성 검증
이효준
,
이철기
,
이수안
외 1명
한국정보과학회 학술발표논문집
2020
.07
최근 본 자료
댓글(0)
0