이 연구는 현직 국어 교사 52명을 논술 평가자로 위촉하여 채점하게 한 후 나타난 결과를 바탕으로엄격성 및 일관성을 분석하는 데 목적이 있다. 이 연구에서 확인된 결과는 다음과 같다. 첫째, 국어 교사들의 엄격성과 일관성의 양상을 분석한 결과, 적합한 평가자 22명(42.31%), 부적합 평가자 11명(21.15%), 과적합 평가자 19명(36.54%)로 나타났다. 둘째, 국어 교사들의 엄격성을 분석한 결과, 평가자의 특성을 반영한 국면에 따라 차이를 보였다. 구체적으로 성별, 경력, 평가 요인에 따른 엄격성은 통계적으로 유의한 차이를 보였으나 평가 방법에 따른 엄격성은 통계적으로 유의한 차이가 확인되지 않았다. 성별에 따른 엄격성은 여교사가 남교사보다 엄격하게 평가하는 것으로 나타났다. 경력에 따른 엄격성은 1년 이상 5년 미만의 경력을 가진 집단이 가장 엄격하게 평가하는 것으로 확인되었다. 평가 요인에서는 형식 및 어법 요인에서 가장 엄격하게 평가하는 것으로 나타났다. 반면 평가 방법에 따른 엄격성은 오류 분석형, 사고논술형, 키워드 제시형의 평가 방법을 사용하는 집단이 동일한 엄격성으로 무표형의 평가 방법을 사용하는 집단에 비해 엄격하게 평가하는 것으로 확인되었다. 셋째, 국어 교사들의 일관성을 분석한 결과, 판별 기준에 따라 차이가 나타났다. 내적합 지수를 기준으로 할 때 성별, 경력, 평가 방법, 평가 요인의 모든 국면에서 적합한 수준을 유지하는 것으로 나타났으나 내적합 표준화 값을 기준으로 할 때 국면 및 하위 요인에 따라 다양한 일관성의 양상이 나타났다. 이러한 결과를 바탕으로 할때 논술 평가에서도 국어 교사들의 쓰기 평가 전문성을 높이는 방안이 필요할 것으로 보인다.
The purpose of this study is to analyze the rating severity and rating consistence based on the results obtained after appointing 52 incumbent Korean language teachers as essay evaluators and scoring them. The results confirmed in this study are as follows.
First, as a result of analyzing the rating consistence of the strictness of Korean language teachers, there were 22 (42.31%) suitable evaluators, 11 non-conforming evaluators (21.15%), and 19 (36.54%) overfit evaluators. Second, as a result of analyzing the strictness of the Korean language teachers, there was a difference according to the phase in which the characteristics of the evaluator were reflected. Specifically, there was a statistically significant difference in rating severity according to gender, career, and assessment factors, but no statistically significant difference was found in rating severity according to assessment method. Strictness according to gender was found to be evaluated more strictly by female teachers than by male teachers. It was confirmed that the rating severity according to experience was evaluated most strictly by the group with more than 1 year and less than 5 years of experience. In the assessment factors, it was found that the formal and usage factors were evaluated most strictly. On the other hand, it was confirmed that the group using the error analysis type, thinking essay type, and keyword presentation type assessment method evaluated the severity according to the assessment method more rating severityously than the group using the non-formal assessment method with the same severity. Third, as a result of analyzing the rating consistence of Korean language teachers, there were differences according to the discrimination criteria. Based on the intrinsic fit index, it was found to maintain an appropriate level in all aspects of gender, career, assessment method, and assessment factors. However, based on the standardized values of the internal fit, various patterns of rating consistence were observed according to phases and sub-factors. Based on these results, it seems that it is necessary to increase the professionalism of Korean language teachers in writing assessment in essay assessment.