지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 林海彰
- 발행연도
- 2014
- 저작권
- 고려대학교 논문은 저작권에 의해 보호받습니다.
이용수0
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
휴대용 통신기기의 상용화 이후 실시간으로 자신의 상황을 알리거나 생각을 표현할 수 있는 소셜 미디어의 사용은 나날이 증가하고 있다. 그에 따라, 소셜 미디어에서 작성되는 소셜 텍스트의 양 역시 크게 늘고 있다. 하지만 이런 소셜 텍스트들은 많은 철자 오류를 포함하고 있으며, 이러한 철자 오류들은 소셜 텍스트에 자연어 처리 기술 및 응용 시스템을 사용할 때의 성능에 악영향을 끼친다.
자연어 처리 기술의 성능 저하 문제를 해결하기 위한 대표적인 전처리 수단이 철자 오류 교정이며, 기존의 철자 오류 교정은 크게 규칙 기반 철자 오류 교정 방법과 통계 기반 철자 오류 교정 방법으로 나눌 수 있다. 두 철자 오류 교정 방법은 각각의 장단점이 존재하는데, 규칙 기반 철자 오류 교정 방법은 교정의 정확률이 높으나 교정 규칙의 수가 많지 않아 교정이 이루어지는 경우가 적고, 통계 기반 철자 오류 방법은 교정이 많이 이루어지지만, 교정의 정확률이 낮다는 단점이 있다. 이러한 상반된 두 철자 오류 교정 방식들의 단점은 두 교정 모델의 혼합으로 개선이 가능하다.
본 논문에서는 규칙 기반 철자 오류 교정 방법론과 통계 기반 철자 오류 교정 방법론을 혼합하여 두 철자 오류 교정 모델보다 더 좋은 성능을 보여줄 수 있는 교정 모델 혼합 방법을 제안한다. 두 교정 모델의 시스템적인 혼합에는 어려움이 있으므로 본 논문에서는 순차적인 방식의 교정 혼합 방법론들을 제시하였으며, 선 규칙 후 통계 방법이 그것이다. 제시한 방법론은 규칙 기반 철자 오류 교정의 높은 정확률을 최대한 유지하는 선에서 통계 기반 철자 오류 교정으로 보완하는 것을 전략으로 삼았다. 또한, 교정 모델 혼합에 사용된 두 종류의 철자 오류 교정 모델 모두 같은 교정 말뭉치를 사용하기 때문에 확장성도 거의 유지되었다.
제안하는 교정 모델 혼합 방법에 대해 SMS 말뭉치와 트윗 말뭉치로 실험을 하였고, 규칙 기반 철자 오류 교정 모델과 통계 기반 철자 오류 교정 모델, 교정 모델 혼합 모델의 성능을 비교 분석하여 선 규칙 후 통계 방법이 기존 철자 오류 교정 모델들에 비해 성능이 많이 향상되었음을 보였다. 또한 형태소 분석 및 품사 부착기에 대한 응용 평가를 실시하여 자연어 처리 기술의 전처리 수단으로서도 유용함을 입증하였다.
자연어 처리 기술의 성능 저하 문제를 해결하기 위한 대표적인 전처리 수단이 철자 오류 교정이며, 기존의 철자 오류 교정은 크게 규칙 기반 철자 오류 교정 방법과 통계 기반 철자 오류 교정 방법으로 나눌 수 있다. 두 철자 오류 교정 방법은 각각의 장단점이 존재하는데, 규칙 기반 철자 오류 교정 방법은 교정의 정확률이 높으나 교정 규칙의 수가 많지 않아 교정이 이루어지는 경우가 적고, 통계 기반 철자 오류 방법은 교정이 많이 이루어지지만, 교정의 정확률이 낮다는 단점이 있다. 이러한 상반된 두 철자 오류 교정 방식들의 단점은 두 교정 모델의 혼합으로 개선이 가능하다.
본 논문에서는 규칙 기반 철자 오류 교정 방법론과 통계 기반 철자 오류 교정 방법론을 혼합하여 두 철자 오류 교정 모델보다 더 좋은 성능을 보여줄 수 있는 교정 모델 혼합 방법을 제안한다. 두 교정 모델의 시스템적인 혼합에는 어려움이 있으므로 본 논문에서는 순차적인 방식의 교정 혼합 방법론들을 제시하였으며, 선 규칙 후 통계 방법이 그것이다. 제시한 방법론은 규칙 기반 철자 오류 교정의 높은 정확률을 최대한 유지하는 선에서 통계 기반 철자 오류 교정으로 보완하는 것을 전략으로 삼았다. 또한, 교정 모델 혼합에 사용된 두 종류의 철자 오류 교정 모델 모두 같은 교정 말뭉치를 사용하기 때문에 확장성도 거의 유지되었다.
제안하는 교정 모델 혼합 방법에 대해 SMS 말뭉치와 트윗 말뭉치로 실험을 하였고, 규칙 기반 철자 오류 교정 모델과 통계 기반 철자 오류 교정 모델, 교정 모델 혼합 모델의 성능을 비교 분석하여 선 규칙 후 통계 방법이 기존 철자 오류 교정 모델들에 비해 성능이 많이 향상되었음을 보였다. 또한 형태소 분석 및 품사 부착기에 대한 응용 평가를 실시하여 자연어 처리 기술의 전처리 수단으로서도 유용함을 입증하였다.
목차
1 서론 12 관련 연구 42.1 규칙 기반 철자 오류 교정 . . . . . . . . . . . . . . . . . . . . . . . . 42.2 통계 기반 철자 오류 교정 . . . . . . . . . . . . . . . . . . . . . . . . 53 철자 오류 교정 모델 혼합 방법 73.1 개요 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.2 규칙 기반 철자 오류 교정 모델 선정 . . . . . . . . . . . . . . . . . . 83.3 통계 기반 철자 오류 교정 모델 선정 . . . . . . . . . . . . . . . . . . 83.4 교정 모델 혼합 방법의 전략 . . . . . . . . . . . . . . . . . . . . . . . 103.5 선 규칙 후 통계 방법 . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.6 선 규칙 후 통계 방법의 타당성 . . . . . . . . . . . . . . . . . . . . . 134 교정 성능 실험 및 평가 144.1 실험 환경 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.2 제안하는 교정 모델 혼합 방법의 성능 평가 . . . . . . . . . . . . . . 164.3 철자 오류 교정 결과 분석 . . . . . . . . . . . . . . . . . . . . . . . . 174.4 제안하는 교정 모델 혼합 방법의 성능 변화 . . . . . . . . . . . . . . 175 응용 평가 : 형태소 분석 및 품사 부착기에 응용 실험 215.1 실험 환경 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215.2 각 모델을 전처리 수단으로 사용하였을 때의 형태소 분석 및 품사 부착기 성능 평가 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 결론 24
최근 본 자료
댓글(0)
0