지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제30권 제6호
- 발행연도
- 2024.6
- 수록면
- 285 - 289 (5page)
- DOI
- 10.5626/KTCP.2024.30.6.285
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
본 논문에서는 통신 오버헤드를 줄이고 연합학습 성능을 향상시키기 위해 APoZ 기반 가지치기 기법을 활용한 새로운 연합학습 프레임워크를 제안한다. APoZ 가지치기는 출력층의 피쳐맵에 기반하여 Convolutional Neural Network (CNN)의 각 뉴런의 중요도를 측정한다. 낮은 APoZ 값을 가진 뉴런을 제거함으로써, 연합학습에서 클라이언트와 중앙 서버 간에 전송되어야 하는 파라미터 수를 줄인 경량화된 CNN 모델을 얻을 수 있다. 본 논문에서는 VGG16과 ResNet50 모델을 사용하여 CIFAR-100 데이터 셋에서 이미지 분류 실험을 수행하여 제안 프레임워크를 평가했다. 제안 프레임워크는 VGG16의 파라미터수를 65% 줄이고, ResNet50의 파라미터 수를 54% 줄이면서 정확도는 유지할 수 있었다. 또한 통신 라운드당 VGG16은 약 30% ResNet50는 약 4%의 지연시간 감소를 확인했다.
목차
요약
Abstract
1. 서론
2. 시스템 모델
3. 제안 사항
4. 실험
5. 실험 결과
6. 결론
References
참고문헌 (8)
참고문헌 신청
B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-efficient learning of deep networks from decentralized data,” in Artificial Intelligence and Statistics, pp. 1273-1282, PMLR, 2017.
T. Li, A. K. Sahu, A. Talwalkar, and V. Smith, “Federated learning: Challenges, methods, and future directions,” IEEE Signal Processing Magazine, vol. 37, no. 3, pp. 50-60, 2020.
G. Menghani, “Efficient deep learning: A survey on making deep learning models smaller, faster, and better,” ACM Comput. Surv., vol. 55, Mar. 2023.
Y. Jiang, S. Wang, V. Valls, B. J. Ko, W.-H. Lee, K. K. Leung, and L. Tassiulas, “Model pruning enables efficient federated learning on edge devices,” IEEE Transactions on Neural Networks and Learning Systems, 2022.
H. Hu, R. Peng, Y.-W. Tai, and C.-K. Tang, “Network trimming: A data-driven neuron pruning approach towards efficient deep architectures,” arXiv preprint arXiv:1607.03250, 2016.
T. Li, A. K. Sahu, A. Talwalkar, and V. Smith, “Federated learning: Challenges, methods, and future directions,” IEEE Signal Processing Magazine, vol. 37, no. 3, pp. 50-60, 2020.
G. Menghani, “Efficient deep learning: A survey on making deep learning models smaller, faster, and better,” ACM Comput. Surv., vol. 55, Mar. 2023.
Y. Jiang, S. Wang, V. Valls, B. J. Ko, W.-H. Lee, K. K. Leung, and L. Tassiulas, “Model pruning enables efficient federated learning on edge devices,” IEEE Transactions on Neural Networks and Learning Systems, 2022.
H. Hu, R. Peng, Y.-W. Tai, and C.-K. Tang, “Network trimming: A data-driven neuron pruning approach towards efficient deep architectures,” arXiv preprint arXiv:1607.03250, 2016.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
APoZ 기반 가지치기를 이용한 연합학습 모델 경량화
한국정보과학회 학술발표논문집
2023 .06
-
딥러닝을 위한 하이브리드 가지치기
전기학회논문지
2020 .11
-
폐색영역 학습데이터 셋 생성을 위한 ResNet 알고리즘과 VGG 알고리즘 비교 분석
한국측량학회 학술대회자료집
2020 .07
-
불순도 기반 딥러닝 CNN 모델 최적 가지치기 레이어 검출 방법
대한전자공학회 학술대회
2022 .06
-
다양한 CNN 모델을 이용한 얼굴 영상의 나이 인식 연구
JOURNAL OF PLATFORM TECHNOLOGY
2023 .10
-
딥러닝 기술을 이용한 디지털포렌식 이미지 분류에 대한 연구: 유사성 측정 및 딥러닝 모델을 이용한 이미지 분류 중심으로
Proceedings of KIIT Conference
2024 .05
-
앙상블 학습 알고리즘을 이용한 컨벌루션 신경망의 분류 성능 분석에 관한 연구
멀티미디어학회논문지
2019 .06
-
CNN에서 비슷한 깊이의 레이어를 묶는 그룹 필터 프루닝 기법
대한전자공학회 학술대회
2021 .06
-
Flower 을 사용한 점진적 연합학습시스템 구성
JOURNAL OF PLATFORM TECHNOLOGY
2023 .08
-
단락흔 및 용융흔 판별을 위한 CNN과 Resnet 알고리즘 비교 분석
대한전기학회 학술대회 논문집
2021 .07
-
충격 전 낙상 검출: ResNet 1D vs. ResNet 2D
한국정밀공학회 학술발표대회 논문집
2022 .10
-
CNN의 유사 채널 가지치기 알고리즘
한국정보과학회 학술발표논문집
2021 .12
-
영상 노이즈 제거 CNN 구조 개선을 위한 VGG CNN 손실함수 적용에 대한 연구
대한전자공학회 학술대회
2019 .11
-
Comparison of accuracy on Cifar-10 datasets according to depth of ResNet network
제어로봇시스템학회 국내학술대회 논문집
2020 .07
-
Design on Object Recognition Framework Based on Deep Learning Network Model
한국산학기술학회 논문지
2024 .10
-
Flower 프레임워크를 사용한 연합 학습 성능 분석
대한전자공학회 학술대회
2023 .06
-
관절 데이터 기반 동작 인식 모델 연합학습 프레임워크 연구
한국정보기술학회논문지
2023 .03
-
복잡도가 낮은 network를 사용한 스타일 변형 학습
대한전자공학회 학술대회
2019 .06
-
합성곱 신경망 모델의 가지치기 알고리즘 분석 기법
한국정보과학회 학술발표논문집
2022 .06
-
ResNet을 이용한 도로 네트워크 교통 데이터 예측
대한공간정보학회 학술대회
2021 .06
이 논문과 함께 이용한 논문
지식 증류 기법을 활용한 나비목 해충 식별 모델 경량화
신민수
,
하영서
,
심재창
멀티미디어학회논문지
2025
.02
지식증류 방안을 활용한 무인 군사 이미지 분류 AI 모델의 데이터 부족 및 경량화 모델 한계 극복
정자훈
,
송윤호
,
강인욱
외 1명
한국산학기술학회 논문지
2024
.03
토큰 단위에 따른 한국어 표준어-방언 번역 모델의 성능 변화 연구
박준호
,
홍충선
,
박성배
한국정보과학회 학술발표논문집
2024
.06
과제 지향 대화 시스템을 위한 도메인 식별이 불필요한 도메인 연속 학습 방법
이준범
,
김소언
,
박성배
한국정보과학회 학술발표논문집
2023
.12
질문 생성 성능 향상을 위한 대규모 언어 모델 Post-training 적용 방법
박규민
,
양민석
,
홍충선
외 1명
한국정보과학회 학술발표논문집
2023
.12
최근 본 자료
댓글(0)
0