이 연구에서는 20명의 현직 국어 교사들을 연구 대상자로 선정하였다. 채점자에게 설문지, 채점표, 논설문 자료 30편을 제공해 채점을 수행하게 한 후 채점 결과를 수합하였다. 그리고 사고구술 안내문과 연습을 통해 채점자가 사고구술에 익숙해지도록 한 후, 채점을 수행하는 동안 사고구술을 병행하도록 요청하여 채점자의 정보 처리 행동에 대한 프로토콜을 수집하였다. 이후 국어 교사의 논설문 채점 과정에서 나타나는 채점 편향의 특성을 분석하였다. 특히 채점 편향이 나타난 텍스트와 나타나지 않은 텍스트의 프로토콜 빈도, 정보 처리 행동별 프로토콜 산출 빈도와 점유율 차이를 비교함으로써 채점 편향이 나타난 텍스트에서의 채점 과정의 특징을 분석하였다. 다음으로 ‘채점 기준 내면화하기 과정, 평가적 읽기 과정, 점수 확정하기 과정, 점검 및 조정하기 과정’에서 나타나는 채점 편향의 특성과 채점 편향을 유발하는 요인을 분석하였다. 특히 쌍대 비교 분석을 실시하여 채점자의 엄격성 차이가 유의하게 나타난 두 텍스트의 사고구술 프로토콜을 비교함으로써 채점 편향에 영향을 미친 정보 처리 행동의 특성을 상세히 살펴보았다. 이러한 과정을 통해 얻은 결론은 다음과 같다.첫째, 채점 결과에 대한 채점 편향 분석을 실시한 결과, 국어 교사들은 학생 논설문을 채점할 때 채점 편향의 문제를 보이는 것으로 나타났다. 이는 채점자가 특정 텍스트에 자신의 일반적인 엄격성 수준에서 벗어나는 점수를 부여했다는 것을 의미하므로 해당 텍스트의 점수는 신뢰성이 있다고 할 수 없다. 특히 일관성 수준이 ‘적합’으로 분류된 채점자에게서도 채점 편향이 나타났고, 특정 텍스트는 엄격하게 채점하고 다른 텍스트는 관대하게 채점하는 보상적 편향의 경향이 나타났다. 이 결과는 채점 결과를 분석할 때 전체 일관성 수준뿐만 아니라 보다 세부적인 채점 편향 정보를 함께 고려할 필요가 있다는 것을 의미한다.둘째, 채점 편향이 나타난 텍스트와 채점 편향이 나타나지 않은 텍스트에서 산출된 프로토콜 빈도를 비교한 결과, 채점자가 자신의 평균 논평 수보다 더 많거나 더 적은 평가적 논평을 할 경우 상대적으로 채점 편향이 나타날 가능성이 높은 것으로 나타났다. 이는 채점자가 채점 회기 동안 자신의 엄격성 수준을 일관성 있게 유지하기 위해서는 특정 텍스트를 채점할 때 평가적 논평 수를 유지할 필요가 있다는 것을 의미한다.셋째, 채점 편향이 나타난 텍스트와 채점 편향이 나타나지 않은 텍스트에서 산출된 정보 처리 행동별 프로토콜 빈도와 점유율 분포를 비교한 결과, ‘판단하기’, ‘총평하기’, ‘개선 방안 제시하기’, ‘다른 채점 기준의 개입’, ‘외적 요소 고려하기’ 등을 통해 채점을 할수록 채점 편향이 나타날 가능성이 높은 것으로 나타났다. 그리고 채점 편향이 나타난 텍스트와 채점 편향이 나타나지 않은 텍스트의 정보 처리 행동별 점유율 분포에 차이가 있었는데, 이는 각 텍스트를 채점할 때 자신의 정보 처리 행동 비율을 일정하게 유지할 필요가 있다는 것을 의미한다.넷째, ‘채점 기준 내면화하기’ 과정에서 나타나는 채점 편향의 원인은 ‘두 채점 기준의 점수를 동일하게 부여하는 문제’, ‘타당성이 떨어지는 하위 평가 요소 설정의 문제’, ‘하위 평가 요소를 채점에 일관적으로 적용하지 못하는 문제’인 것으로 나타났다. 이는 채점 기준을 명시적인 평가 요소로 재설정하는 문제, 채점 기준을 채점에 적용하는 과정에서 나타나는 문제와 관련이 있다.다섯째, ‘평가적 읽기’ 과정에서 나타나는 채점 편향의 원인은 ‘인상 평가의 문제, 다른 채점 기준의 개입 문제, 텍스트의 양을 채점에 반영하는 방식의 문제, 텍스트의 표면적 특징에 주의를 기울이는 문제, 특정 감점 요인이나 가점 요인을 중복 반영하는 문제, 텍스트 수준에 대한 잘못된 판단의 문제, 감점 요인 판단의 문제, 가점 요인 판단의 문제’인 것으로 나타났다. 이는 텍스트의 수준을 판단하는 채점 방식의 문제, 판단의 타당성 문제와 관련이 있다. 여섯째, ‘점수 확정하기’ 과정에서 나타나는 채점 편향의 원인은 ‘감점 요인이나 가점 요인에 부여하는 가중치 변화의 문제, 매우 크거나 작은 가중치를 부여하는 문제, 점수를 부여하는 과정에서 감점 요인이나 가점 요인을 누락하는 문제, 텍스트에 대한 판단과 상이한 점수를 부여하는 문제, 이른 점수 결정의 문제’인 것으로 나타났다. 이는 채점자의 판단을 종합하여 필자의 능력을 ‘수(數)’로 표현하는 과정에서 나타나는 문제와 관련이 있다.일곱째, ‘점검 및 조정하기’ 과정에서 나타나는 채점 편향의 원인은 ‘타당하지 않은 방식으로 자신의 채점 결과와 채점 과정을 점검하는 문제’인 것으로 나타났다. 이는 채점자가 자신의 채점 행위를 스스로 평가하고 수정하는 과정에서 나타나는 문제와 관련이 있다.분석 결과에 기초하여, 이 연구에서는 ‘채점자 교육, 개별 채점 피드백을 통한 채점 결과 점검, 자기 평가 체크리스트를 통한 채점 과정 점검’을 채점 편향을 최소화할 수 있는 방안으로 제시하였다. 각 방안에 대해 구체적으로 제시하면 다음과 같다.첫째, 채점 전, 예비 채점 후, 본 채점 후에 채점자 교육을 실시한다. 채점 전에는 쓰기 과제 및 쓰기 수행 맥락, 채점 맥락에 대한 교육을 실시한 후 쓰기 과제에 대한 배경지식 수준을 확인한다. 배경지식이 부족하다면 채점자에게 보조 자료를 제공한다. 채점자 협의를 실시해 평가 요소를 구체화하고, 평가 요소의 타당성 및 중복 여부를 확인한 후, 채점 기준 외적 요소에 대한 합의 과정을 거치도록 한다. 예비 채점을 시행한 후에는 채점 결과에 대한 개별 채점 피드백을 제공한 후 자기 평가 체크리스트를 통해 채점 편향이 나타난 텍스트에서의 채점 과정을 점검하도록 한다. 이후 채점자 협의를 실시해 채점 편향의 원인과 문제 해결 방안을 논의하고, 채점에 활용할 평가 예시문을 채택하도록 한다. 본 채점 후에는 예비 채점 때와 같은 과정으로 채점자가 스스로 자신의 채점 결과와 채점 과정을 점검하도록 한 후 재채점의 기회를 제공한다. 문제가 개선되지 않는다면 해당 채점자의 채점 결과를 제외한다.둘째, 개별 채점 피드백을 제공하여 자신의 채점 결과를 점검하도록 한다. 개별 채점 피드백은 다국면 Rasch 모형의 통계치를 분석할 수 있는 전문가가 채점 편향 분석 결과를 중심으로 구성하며, 채점자가 채점 결과를 쉽게 이해할 수 있도록 채점자에게 친숙한 척도를 활용하여 제공한다. 또한 채점자의 채점 과정에서 나타나는 문제점을 지적하고 비판하기보다, 점검과 조정이 필요한 텍스트에 대한 정보로 피드백 내용을 구성함으로써 채점자에게 동기를 부여하는 방식으로 제공한다. 셋째, 자기 평가 체크리스트를 제공하여 자신의 채점 과정을 점검하도록 한다. 자기 평가 체크리스트를 제공할 때는 채점자의 자기 평가를 도울 수 있는 채점 정보를 함께 제시해, 채점 편향이 나타난 텍스트를 중심으로 채점 과정을 점검하도록 한다. 자기 평가 체크리스트를 작성한 후에는 채점자 간 협의를 통해 채점 편향이 나타난 원인과 해결 방안에 대해 논의해보도록 한다. 이 연구는 국어 교사의 채점 편향을 분석함으로써 엄격성을 일관성 있게 유지하는 데 부정적인 영향을 미치는 채점자의 정보 처리 행동에 대한 구체적인 정보를 제공했다는 점, 채점 편향의 원인별로 채점자의 전문성을 향상하기 위한 방안에 대해 논의했다는 점에서 의의가 있다. 이 연구의 결과는 평가 상황에서 실시되는 채점자 교육, 채점 결과 점검을 위한 개별 채점 피드백, 채점 과정 점검을 위한 자기 평가 체크리스트의 제공 방안을 마련하는 데 유의미한 자료로 활용될 것이다. 또한 예비 교사 및 현직 교사를 위한 채점자 교육의 이론적 토대를 제공함으로써 국어 교사의 채점 전문성을 신장하는 데 기여할 것이다. 이는 채점자 신뢰성에 대한 불안을 해소함으로써 고부담 시험이나 대단위 쓰기 평가가 보다 타당한 방식의 직접 평가로 이루어지게 하는 데 기여할 것이다.