지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
최근 구글의 BERT, OpenAI의 GPT 등, 언어모델(Language Model)을 사용한 비정형 텍스트 데이터에 대한 딥러닝(Deep Learning) 분석이 다양한 응용에서 괄목할 성과를 나타내고 있다. 대부분의 언어모델은 사전학습 데이터로부터 범용적인 언어정보를 학습하고, 이후 미세 조정(Fine-Tuning) 과정을 통해 다운스트림 태스크(Downstream Task)에 맞추어 갱신되는 방식으로 사용되고 있다. 하지만 최근 이러한 언어모델을 사용하는 과정에서 프라이버시가 침해될 수 있다는 우려가 제기되고 있다. 즉 데이터 소유자가 언어모델의 미세 조정을 수행하기 위해 다량의 데이터를 모델 소유자에게 제공하는 과정에서 데이터의 프라이버시가 침해될 수 있으며, 반대로 모델 소유자가 모델 전체를 데이터 소유자에게 공개하면 모델의 구조 및 가중치가 공개되어 모델의 프라이버시가 침해될 수 있다는 것이다. 이러한 상황에서 프라이버시를 보호하며 언어모델의 미세 조정을 수행하기 위해 최근 오프사이트 튜닝(Offsite Tuning)의 개념이 제안되었으나, 해당 연구는 제안 방법론을 텍스트 분류 모델에 적용하는 구체적인 방안을 제시하지 못했다는 한계를 갖는다. 이에 본 연구에서는 한글문서에 대한 다중 분류 미세 조정 수행 시, 모델과 데이터의 프라이버시를 보호하기 위해 분류기를 추가한 오프사이트 튜닝을 적용하는 구체적인 방법을 제시한다. 제안 방법론의 성능을 평가하기 위해 AIHub에서 제공하는 ICT, 전기, 전자, 기계, 그리고 의학 총 5개의 대분야로 구성된 약 20만건의 한글 데이터에 대해 실험을 수행한 결과, 제안하는 플러그인 모델이 제로 샷 모델 및 오프사이트 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다.
목차
1. 서론
2. 관련 연구
3. 제안 방법론
4. 실험
5. 결론
참고문헌(References)
Abstract
참고문헌 (22)
참고문헌 신청
Arachchige, P. C. M., Bertok, P., Khalil, I., Liu, D., Camtepe, S., & Atiquzzaman, M. (2019).Local differential privacy for deep learning.IEEE Internet of Things Journal, 7(7), 5827-5842
Baracaldo, N., Chen, B., Ludwig, H., & Safavi, J.A. (2017). Mitigating poisoning attacks on machine learning models: A data provenance based approach. Proceedings of the 10th ACM workshop on artificial intelligence and security, 103-110.
Biggio, B., Corona, I., Maiorca, D., Nelson, B., Šrndić, N., Laskov, P., Giacinto, G., & Roli, F. (2013). Evasion attacks against machine learning at test time. Machine Learning and Knowledge Discovery in Databases, 387-402.
Brown, T. B., (2018, January 23). Adversarial Patch.youtube. Retrieved September 5, 2023, from https://www.youtube.com/watch?v=i1sp4X57TL4
Cheon, J. H., Kim, A., Kim, M., & Song, Y. (2017).Homomorphic encryption for arithmetic of approximate numbers. International Conference on the Theory and Applications of Cryptology and Information Security, 409-437.
Baracaldo, N., Chen, B., Ludwig, H., & Safavi, J.A. (2017). Mitigating poisoning attacks on machine learning models: A data provenance based approach. Proceedings of the 10th ACM workshop on artificial intelligence and security, 103-110.
Biggio, B., Corona, I., Maiorca, D., Nelson, B., Šrndić, N., Laskov, P., Giacinto, G., & Roli, F. (2013). Evasion attacks against machine learning at test time. Machine Learning and Knowledge Discovery in Databases, 387-402.
Brown, T. B., (2018, January 23). Adversarial Patch.youtube. Retrieved September 5, 2023, from https://www.youtube.com/watch?v=i1sp4X57TL4
Cheon, J. H., Kim, A., Kim, M., & Song, Y. (2017).Homomorphic encryption for arithmetic of approximate numbers. International Conference on the Theory and Applications of Cryptology and Information Security, 409-437.
이 논문의 저자 정보
이 논문과 함께 이용한 논문
GPT 4.0의 우회 공격과 LLM 침입 차단 모델에 대한 연구
이용준
,
강장묵
,
김지효
한국산학기술학회 논문지
2024
.03
대규모 언어 모델을 사용한 제로샷 한국어 감성 분석: 사전 학습된 언어 모델과의 비교
권순찬
,
이동희
,
장백철
한국컴퓨터정보학회논문지
2024
.02
LLM 답변 향상을 위한 검색 기반 생성 기법: GPT3.5, GPT4의 Zero-shot, RAG 비교 연구
신중민
,
박승렬
,
김혜린
외 1명
한국정보통신학회 종합학술대회 논문집
2023
.10
[특허 소식] 챗지피티(챗GPT)의 핵심, ‘초거대 인공지능(AI)’ 기술 경쟁 본격화 외
편집부
기계저널
2023
.03
지도식 미세조정(SFT)을 이용한 철자오류 교정
이정훈
,
조상현
,
권혁철
한국정보통신학회논문지
2024
.03
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-089215078