지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.6
- 수록면
- 189 - 195 (7page)
- DOI
- 10.5391/JKIIS.2024.34.3.189
이용수
초록· 키워드
오류제보하기
최근 파라미터를 효율적으로 학습하기 위한 프롬프트 튜닝 방법이 주목받고 있다. 프롬프트튜닝 방법을 통해 긴 프롬프트를 학습할 경우 좋은 성능을 보이지만 이는 많은 자원을 요구한다는 단점이 있다. 따라서 본 논문은 짧지만 밀도 높은 정보를 갖는 프롬프트를 생성하는 방법을 제안한다. 제안 방법인 ShortPrompt는 Pooling 방식을 도입하여 길이를 조정하고, 인스턴스와 태스크 정보를 동시에 고려하여 프롬프트를 구성한다. 제안 방법을 활용하여 모델을 학습한 결과, SuperGLUE 벤치마크에서 기존 프롬프트 튜닝보다 우수한 길이 대비 성능을 보였다. 또한, 분석을 통해 ShortPrompt가 유용한 정보를 다수 포함하고 있음을 확인했다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 제안 방법
4. 실험 및 결과
5. 분석
6. 결론 및 향후 연구
References
참고문헌 (24)
참고문헌 신청
Tom Brown, Benjamin Mann, Nick Ryder, et al., “Language models are few-shot learners,” Advances in Neural Information Processing Systems 33 (NeurIPS 2020), pp. 1877-1901, 2020.
Josh Achiam, Steven Adler, Sandhini Agarwal, et al., “Gpt-4 technical report,” arXiv preprint arXiv:2303.08774, 2023.
Hugo Touvron, Louis Martin, Kevin Stone, et al., “Llama 2: Open foundation and fine-tuned chat models,” arXiv preprint arXiv:2307.09288, 2023.
Ebtesam Almazrouei, Hamze Alobeidli, Abdulaziz Alshamsi, et al., “The falcon series of open language models,” arXiv preprint arXiv:2311.16867, 2023.
Rohan Anil, Sebastian Borgeaud, Yonghui Wu, et al., “Gemini: a family of highly capable multimodal models,” arXiv preprint arXiv:2312.11805, 2023.
Josh Achiam, Steven Adler, Sandhini Agarwal, et al., “Gpt-4 technical report,” arXiv preprint arXiv:2303.08774, 2023.
Hugo Touvron, Louis Martin, Kevin Stone, et al., “Llama 2: Open foundation and fine-tuned chat models,” arXiv preprint arXiv:2307.09288, 2023.
Ebtesam Almazrouei, Hamze Alobeidli, Abdulaziz Alshamsi, et al., “The falcon series of open language models,” arXiv preprint arXiv:2311.16867, 2023.
Rohan Anil, Sebastian Borgeaud, Yonghui Wu, et al., “Gemini: a family of highly capable multimodal models,” arXiv preprint arXiv:2312.11805, 2023.
이 논문과 함께 이용한 논문
생성형 인공지능의 프롬프트 글쓰기 분석
박한하
,
한혜원
한국콘텐츠학회논문지
2024
.04
프롬프트의 언어학적 특성과 상관관계 분석 : LFTK (Linguistic Feature ToolKit) 기반 연구
최슬기
,
탁진영
영어영문학
2024
.08
ChatGPT 및 거대언어모델의 추론 능력 향상을 위한 프롬프트 엔지니어링 방법론 및 연구 현황 분석
박상언
,
강주영
지능정보연구
2023
.12
조직 내 성차별 인식에 있어서 성별 집단자존감의 영향력 : 서울시 공무원의 인식을 중심으로
원숙연
,
최윤희
지방정부연구
2015
.05
Thesaurus와 TTA를 이용한 Stable Diffusion 사용자 프롬프트의 의미론적 확장 및 생성 방법
이정
,
최영
,
송진하
외 1명
정보과학회 컴퓨팅의 실제 논문지
2024
.10
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-089883156