지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.3
- 수록면
- 267 - 275 (9page)
- DOI
- 10.6109/jkiice.2024.28.3.267
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
본 논문은 자연어 처리 분야의 중요한 주제인 철자 오류 교정에 초점을 맞춘다. 연구는 Generative Pre-trained Transformer(GPT) 모델을 활용하여 철자 오류 교정 방법을 실험적으로 탐구한다. 특히, GPT-1 및 InstructGPT 모델에서 적용된 지도식 미세조정 방법론을 사용하여 철자 오류 교정의 성능을 향상시키는 것을 목표로 한다. 본 논문에서의 지도식 미세조정은 인간의 직접적인 피드백을 활용하여 모델의 성능을 향상시키는 방법을 활용한다. 그리고 다양한 학습 프롬프트 전략을 도입하여 철자 오류 교정 모델의 성능을 더욱 높이고자 했다. 이러한 전략은 양방향 문맥정보를 활용한 학습 방법으로, 실험 결과 GPT-2 기본 모델 대비 F1 점수에서 상당한 향상을 보였으며, 이전 연구 결과보다도 더 높은 성능을 달성했다. 본 연구는 철자 오류 교정을 위한 GPT 모델의 활용 및 지도식 미세조정 방법론과 학습 프롬프트 전략의 유효성을 입증하며, 이 분야의 연구를 한 단계 발전시킬 가능성을 제시한다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 철자오류 교정 모델
Ⅳ. 학습 말뭉치 구축 방법론
Ⅴ. 실험 및 결론
REFERENCES
참고문헌 (16)
참고문헌 신청
"A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever (2018, June). OpenAI [Online]. Available: https://www.mikecaptain.com/resources/pdf/GPT-1.pdf.
J. H. Lee, M. H. Kim, and H. C. Kwon, “Deep learning-based context-sensitive spelling typing error correction,” IEEE Access, vol. 8, pp. 152565-152578, Aug. 2020. DOI: 10.1109/ACCESS.2020.3014779.
OpenAI. (2023). ChatGPT (Nov 1 version) [Large language model]. https://chat.openai.com/.
L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. L. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton, L. E. Miller, M. Simens, A. Askell, P. Welinder, P. F. Christiano, J. Leike, and R. J. Lowe, “Training language models to follow instructions with human feedback,” Advances in Neural Information Processing Systems, vol. 35, pp. 27730-27744, Dec. 2022. DOI: 10.48550/arXiv.2203.02155.
T. B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. J. Henighan, R. Child, A. Ramesh, D. M. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei, “Advances in neural information processing systems,” vol. 33, pp. 1877-1901, Jul. 2020. DOI: 10.48550/arXiv.2005.14165.
J. H. Lee, M. H. Kim, and H. C. Kwon, “Deep learning-based context-sensitive spelling typing error correction,” IEEE Access, vol. 8, pp. 152565-152578, Aug. 2020. DOI: 10.1109/ACCESS.2020.3014779.
OpenAI. (2023). ChatGPT (Nov 1 version) [Large language model]. https://chat.openai.com/.
L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. L. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton, L. E. Miller, M. Simens, A. Askell, P. Welinder, P. F. Christiano, J. Leike, and R. J. Lowe, “Training language models to follow instructions with human feedback,” Advances in Neural Information Processing Systems, vol. 35, pp. 27730-27744, Dec. 2022. DOI: 10.48550/arXiv.2203.02155.
T. B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. J. Henighan, R. Child, A. Ramesh, D. M. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei, “Advances in neural information processing systems,” vol. 33, pp. 1877-1901, Jul. 2020. DOI: 10.48550/arXiv.2005.14165.
이 논문과 함께 이용한 논문
GPT 4.0의 우회 공격과 LLM 침입 차단 모델에 대한 연구
이용준
,
강장묵
,
김지효
한국산학기술학회 논문지
2024
.03
대규모 언어 모델을 사용한 제로샷 한국어 감성 분석: 사전 학습된 언어 모델과의 비교
권순찬
,
이동희
,
장백철
한국컴퓨터정보학회논문지
2024
.02
LLM 답변 향상을 위한 검색 기반 생성 기법: GPT3.5, GPT4의 Zero-shot, RAG 비교 연구
신중민
,
박승렬
,
김혜린
외 1명
한국정보통신학회 종합학술대회 논문집
2023
.10
ChatGPT 및 거대언어모델의 추론 능력 향상을 위한 프롬프트 엔지니어링 방법론 및 연구 현황 분석
박상언
,
강주영
지능정보연구
2023
.12
프라이버시 보호를 위한 오프사이트 튜닝 기반 언어모델 미세 조정 방법론
정진명
,
김남규
지능정보연구
2023
.12
최근 본 자료
댓글(0)
0