지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제30권 제2호
- 발행연도
- 2024.2
- 수록면
- 63 - 69 (7page)
- DOI
- 10.5626/KTCP.2024.30.2.063
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
ARC(Abstraction and Reasoning Corpus)[1]는 범용인공지능을 평가하는 중요한 벤치마크 데이터셋이다. 하지만 ARC 벤치마크 데이터셋에서 좋은 성능을 보여주는 연구가 지금까지 나오지 못하고 있다. 이 와중에 대규모 언어 모델이 다양한 분야에서 좋은 성능을 보여주고 있고 이를 프롬프트 엔지니어링으로 활용하는 방식이 주목받고 있다. 그래서 본 연구에서는 ARC 문제 해결을 위한 프롬프트 엔지니어링의 가능성을 확인해보는 것이다. 이를 위해, 페르소나 프롬프트 및 생각의 사슬 등의 다양한 프롬프트를 활용하여 실험 및 심층 분석을 진행하였다. 실험 결과, 객체를 활용하는 문제에 대해서 어려움을 보이는 것을 확인할 수 있었다. 그러나 단순한 패턴 문제 및 객체를 찾는 문제에 대해서는 잘 푸는 것을 알 수 있었으며 적절한 프롬프트 엔지니어링 방법을 적용했을 때 정확도가 향상되었다. 이를 통해 프롬프트 엔지니어링의 가능성을 확인해 볼 수 있었다.
목차
요약
Abstract
1. 서론
2. ARC 문제에 프롬프트 엔지니어링 적용
3. 실험
4. 최근 관련 연구동향
5. 결론 및 향후 연구
References
참고문헌 (9)
참고문헌 신청
François Chollet, “On the measure of intelligence,” arXiv:1911.01547, 2019.
Raphael Fischer et al., “Solving Abstract Reasoning Tasks with Grammatical Evolution,” LWDA, 2020.
Tuan Dinh et al., “LIFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks,” NeurIPS, 2022.
Pengfei Liu et al., “Pre-train, prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing,” ACM Computing Surveys, 2023.
Xu, Yudong et al., "LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations." arXiv preprint arXiv:2305.18354, 2023.
Raphael Fischer et al., “Solving Abstract Reasoning Tasks with Grammatical Evolution,” LWDA, 2020.
Tuan Dinh et al., “LIFT: Language-Interfaced Fine-Tuning for Non-Language Machine Learning Tasks,” NeurIPS, 2022.
Pengfei Liu et al., “Pre-train, prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing,” ACM Computing Surveys, 2023.
Xu, Yudong et al., "LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations." arXiv preprint arXiv:2305.18354, 2023.
이 논문의 저자 정보
이 논문과 함께 이용한 논문
높은 정보량을 갖는 길이 효율적인 프롬프트 튜닝
이지형
,
양정안
,
이지형
한국지능시스템학회 논문지
2024
.06
생성형AI의 환각현상 최소화를 위한 요인 탐색 연구 - 소비자의 감성·경험 분석을 중심으로 -
안진호
,
정욱환
서비스 연구
2024
.03
월드모델을 통한 ARC의 핵심 지식 추출
이지환
,
이승필
,
김세진
외 1명
한국정보과학회 학술발표논문집
2023
.12
추상화 및 추론 문제 해결을 위한 대조학습
구교준
,
심우창
,
임재균
외 2명
한국정보과학회 학술발표논문집
2023
.12
ARCLE: 추상화 및 추론을 위한 강화학습 환경
이호성
,
김세진
,
김선동
한국정보과학회 학술발표논문집
2023
.12
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-089381648