지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제30권 제6호
- 발행연도
- 2024.6
- 수록면
- 290 - 295 (6page)
- DOI
- 10.5626/KTCP.2024.30.6.290
이용수
이 논문의 연구 히스토리 (2)
2024
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
방대한 데이터셋을 기반으로 대형 언어 모델(Large Language Model)이 급속도로 발전하고 있는 가운데, 언어 모델이 생성한 텍스트의 안전성에 대한 연구가 중시되고 있다. 본 연구에서는 Plug-and-Play Language Model (PPLM) 방법을 적용하여 한국어 언어 모델의 생성을 제어하는 실험을 수행한다. 이를 위해 독성 이진 분류기인 작은 크기의 Attribute 모델을 학습한 후, 언어 모델과 결합하여 생성 시에 언어 모델이 비독성 문장을 생성하도록 업데이트한다. 실험 결과, Attribute 모델이 적용되었을 때 독성이 23%가 감소하며 성공적으로 모델이 제어됨을 입증하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. PPLM의 문장 생성 제어
4. 실험
5. 실험 결과
6. 결론
References
참고문헌 (17)
참고문헌 신청
OpenAI, “GPT-4 Technical Report,” arXiv preprint arXiv:2303.08774, 2023.
Chowdhery et al., "PaLM: Scaling Language Modeling with Pathways," Journal of Machine Learning Research, Vol. 24, Aug. 2023.
Touvron et al., “Llama 2: Open Foundation and Fine-Tuned Chat Models,” arXiv preprint arXiv:2307.09288, 2023.
C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, and P. J. Liu, “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer,” Journal of Machine Learning Research, Vol. 21, Jun. 2020.
B. Kim, H. Kim, S. W. Lee, G. Lee, D. Kwak, D. H. Jeon, S. Park, S. Kim, S. Kim, D. Seo, et al., “What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers,” Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.
Chowdhery et al., "PaLM: Scaling Language Modeling with Pathways," Journal of Machine Learning Research, Vol. 24, Aug. 2023.
Touvron et al., “Llama 2: Open Foundation and Fine-Tuned Chat Models,” arXiv preprint arXiv:2307.09288, 2023.
C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, and P. J. Liu, “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer,” Journal of Machine Learning Research, Vol. 21, Jun. 2020.
B. Kim, H. Kim, S. W. Lee, G. Lee, D. Kwak, D. H. Jeon, S. Park, S. Kim, S. Kim, D. Seo, et al., “What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers,” Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, 2021.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Plug-and-Play Language Model을 활용한 한국어 언어모델 독성 제어
한국정보과학회 학술발표논문집
2023 .06
-
대형 언어 모델을 활용한 자연어 기반 로봇 제어
한국통신학회 학술대회논문집
2024 .11
-
한국어 자연어 추론을 위한 거대 언어 모델 기반 지식 생성
한국정보과학회 학술발표논문집
2023 .06
-
LSTM 언어모델을 이용한 한국어 자연어 생성 모델
한국정보과학회 학술발표논문집
2017 .12
-
코드 생성을 위한 최신 거대언어모델에 대한 조사 연구
정보과학회 컴퓨팅의 실제 논문지
2024 .08
-
Calibration of Pre-trained Language Model for the Korean Language
Journal of KIISE
2021 .04
-
초거대 언어모델 연구 동향
정보과학회지
2023 .11
-
Enhancing Geospatial Recommendations through Natural Language Processing with Large Language Models
한국정보과학회 학술발표논문집
2024 .06
-
대규모 언어 모델을 활용한 특허 청구범위 생성
한국정보과학회 학술발표논문집
2024 .06
-
한국어 언어자원에서의 자연어 처리 기술 현황 조사
한국정보과학회 학술발표논문집
2015 .06
-
거대 언어 모델과 In-context learning을 이용한 자연어 추론 학습 데이터 자동 생성
한국정보과학회 학술발표논문집
2023 .06
-
대규모 언어모델을 활용한 데이터셋 생성을 위한 프롬프트 디자인 및 생성 방법론 분석
한국정보과학회 학술발표논문집
2023 .06
-
도메인 정보가 강화된 워드 임베딩을 사용한 한국어 텍스트 생성
한국지능시스템학회 논문지
2019 .04
-
빅데이터 기반 문장 유사도 측정 언어 모델
대한전자공학회 학술대회
2020 .08
-
사전학습 언어모델을 활용한 DNA 분류 태스크의 학습 언어 종류 영향 분석
한국정보과학회 학술발표논문집
2024 .06
-
사전 학습된 언어 모델 기반 자연어 처리 응용의 실용성 개선 연구
한국통신학회 학술대회논문집
2023 .06
-
거대언어모델 기반 실시간 로봇 제어 기술에 대한 연구
한국통신학회 학술대회논문집
2024 .11
-
효율적 언어분석을 위한 언어종속치 자동분석 프로그램
한국정보과학회 학술발표논문집
2017 .12
-
사전 학습 언어모델 기반 오픈 도메인에서의 한국어 대화 생성
한국정보과학회 학술발표논문집
2022 .06
-
논문 리뷰 서비스를 위한 대규모 언어 모델 개발
한국정보과학회 학술발표논문집
2024 .12
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0