인지진단이론은 문항에 정답을 하는데 필요한 특정 인지요소를 학습자가 숙달했는지를 알려준다. 인지요소숙달 여부에 대한 구체적인 정보는 학생에 대한 정확한 진단뿐만 아니라 학생이 지닌 장?단점을 파악하여 교수?학습에 직접적으로 활용할 수 있다. 인지진단모형에서 응시생을 잠재계층에 분류하는 방법으로 최대우도(maximum likelihood: ML), 최대사후확률(maximum a posteriori: MAP), 사후기대(expected a posteriori: EAP)방법이 있다. 세 가지 분류방법들 중에서 어떠한 분류방법이 보다 응시생을 정확하게 분류하는지를 알아보는 것은 중요하다. 실제로 검사 조건은 다양한데 모든 검사 조건에서 응시생을 정확하게 분류하는 우수한 분류방법이 있는지, 아니면 검사 조건에 따라 응시생을 정확하게 분류하는 방법이 달라지는지에 대해 알아볼 필요가 있다. 이러한 연구는 교육현장에서 응시생에게 정확한 진단적 정보를 제공한다.
본 연구의 목적은 DINA(deterministic-input, noisy “and” gate)모형과 DINO(deterministic-input, noisy “or” gate)모형에서 ML, MAP, EAP방법들의 분류 정확성이 어느 정도인가를 알아보는 것이다. 이를 위해 본 연구에서는 인지요소의 수, 표본크기, 응시생 능력분포, 검사 길이를 달리하였을 때, 분류방법들의 분류 정확성이 어느 정도인가를 알아보았다. 또한, 실제자료에서 추정한 문항모수와 Q행렬을 사용했을 때, ML, MAP, EAP방법의 분류 정확성이 어느 정도인가를 알아보았다.
연구 목적을 달성하기 위하여 본 연구에서는 모의실험 연구와 실제자료의 문항모수와 Q행렬을 활용하였다.
모의실험 연구를 위해 다양한 모의실험 조건들[인지요소의 수(K= 3, 5, 7), 표본크기(N= 100, 500, 1,000), 응시생 능력분포(고능력, 중간능력, 저능력 집단), 검사 길이(J= 15, 30, 45)]에 따라 모의자료를 생성했다. 그리고 참 인지요소(true )와 ML, MAP, EAP방법으로 추정된 인지요소가 어느 정도 일치하는지를 계산했다. 실제로는 응시생의 참 인지요소를 모르기 때문에 본 연구에서는 응시생의 인지요소를 무선으로 생성한 후 이를 참 인지요소로 간주한 것이다. 실제자료의 문항모수와 Q행렬을 사용한 연구에서는 먼저 기초학력 향상도 평가 6학년 국어, 사회, 수학, 과학, 영어 과목에 대한 Q행렬을 개발하고 문항모수를 추정했다. 실제자료에서 얻은 문항모수와 Q행렬을 이용하여 참 인지요소와 ML, MAP, EAP방법으로 추정된 인지요소간 정확일치도를 산출했다.
본 연구의 주요결과를 요약하면 다음과 같다.
첫째, DINA와 DINO모형에서 인지요소의 수가 3개이고 표본크기가 100명일 때, 응시생 능력분포와 검사 길이에 따라 정확일치도 평균이 가장 높은 방법이 달라졌다. 즉, 표본크기가 100명일 때는 정확일치도 평균이 일관되게 높은 분류방법은 없었다. 그러나 표본크기가 500명 이상이 되면 DINA모형의 경우 MAP, EAP방법이 ML방법보다 정확일치도 평균이 대체로 높았으며, DINO모형의 경우는 EAP방법이 ML, MAP방법보다 정확일치도 평균이 높았다. 인지요소의 수가 5, 7개일 때는 ML, MAP방법보다 EAP방법의 정확일치도 평균이 높았다.
둘째, 동일한 검사 조건에서 인지요소의 수(K= 3, 5, 7)가 증가하면 ML, MAP, EAP방법 모두에서 정확일치도 평균이 낮아졌다.
셋째, 동일한 응시생 능력분포와 검사 길이에서 표본크기(N= 100, 500, 1,000)가 증가하면 ML, MAP, EAP방법 모두에서 정확일치도 평균은 거의 차이가 없었다. 이는 모든 표본크기에서 사용된 문항모수가 유사하게 생성된 것을 사용했기 때문으로 보인다.
넷째, 동일한 표본크기와 검사 길이에서 사전분포로 고능력 집단, 중간능력 집단, 저능력 집단을 각각 가정했을 때 ML, MAP방법보다 EAP방법이 정확일치도 평균이 높았다.
다섯째, 동일한 표본크기와 응시생 능력분포에서 검사 길이(J= 15, 30, 45)가 증가하면 ML, MAP, EAP방법 모두에서 정확일치도 평균이 높아졌다. 인지요소의 수에 따라 응시생을 정확하게 분류하기 위한 적절한 검사 길이를 보면, 인지요소의 수가 3, 5, 7개이고 이에 대응하는 검사 길이가 각각 15, 30, 45문항일 때 본 연구에서 설정한 높은 분류 정확성 기준에 부합하는 것으로 나타났다.
여섯째, DINA와 DINO모형에서 인지요소별 정확일치도의 차이와 분류방법에 따른 정확일치도의 차이는 인지요소의 수가 증가할수록 커졌다.
일곱째, DINA와 DINO모형에서 기초학력 향상도 평가의 문항모수와 Q행렬을 사용했을 때, 모든 과목(국어, 사회, 수학, 과학, 영어)에서 ML, MAP방법보다 EAP방법의 정확일치도 평균이 높았다.
이와 같은 연구결과를 토대로 한 결론은 다음과 같다.
첫째, DINA와 DINO모형에서 인지요소의 수가 3일 때, 본 연구에서 설정한 검사 조건에서 어떠한 분류방법을 선택할지라도 응시생 분류는 유사할 것으로 보인다. 그러나 인지요소의 수가 5, 7개일 때는 다른 두 방법에 비해서 EAP방법이 응시생을 더 정확하게 분류한다.
둘째, DINA와 DINO모형에서 표본크기, 응시생 능력분포, 검사 길이가 동일할 때, 인지요소의 수가 증가하면 분류 정확성이 감소한다. 따라서 인지요소의 수에 따라 어떠한 검사 조건에서 응시생을 정확하게 분류하는지를 고려해야 한다.
셋째, DINA와 DINO모형에서 응시생 능력분포, 검사 길이가 동일할 때, 표본크기가 증가해도 분류 정확성은 ML, MAP, EAP방법에서 거의 차이가 없다. 그러나 이는 모든 표본크기에서 사용된 문항모수가 유사하게 생성된 것을 사용했기 때문으로 보인다. 따라서 정확한 문항 모수를 얻고, 동일한 검사 조건에서 분류 정확성이 높은 분류방법의 일관성이 유지되려면 500명 이상의 표본크기가 필요하다.
넷째, DINA와 DINO모형에서 표본크기와 검사 길이가 동일할 때, 사전분포로 고능력, 중간능력, 저능력 집단을 각각 가정했을 때, ML, MAP방법보다 EAP방법이 응시생을 더욱 정확하게 분류한다.
다섯째, DINA와 DINO모형에서 동일한 표본크기, 응시생 능력분포일 때, 검사 길이가 증가하면 ML, MAP, EAP방법 모두에서 분류 정확성이 높아진다.
여섯째, 인지요소별 분류 정확성과 분류방법에 따른 분류 정확성의 차이는 인지요소의 수가 증가할수록 커진다. 따라서 하나의 검사에서 측정하는 인지요소의 수가 5개 이상일 때, 각 인지요소의 숙달여부를 ML, MAP, EAP방법 모두에서 비교할 필요가 있다.
일곱째, 기초학력 향상도 평가의 문항모수와 Q행렬을 사용했을 때, DINA와 DINO모형에서 ML, MAP방법보다 EAP방법이 응시생을 정확하게 분류한다.