인지진단이론(cognitive diagnosis theory, CDT)은 문항을 맞히는데 필요한 인지요소의 숙달 여부를 통해, 학습자에게 학습 개선에 도움을 줄 수 있는 세부적인 진단적 정보를 제공해준다. 인지진단이론은 응답 반응, 잠재변수, 모형의 보상성 여부에 따라 다양한 인지진단모형들(cognitive diagnosis models, CDMs)로 발전해 왔다.
인지진단이론은 기존의 검사 이론보다 더 많은 정보를 제공해주기 때문에 이미 개발된 검사에 인지진단모형을 적용하여 새로운 시사점을 얻기 위한 연구가 다양하게 수행되고 있다. 그러나 이러한 사후접근적 방법(retrofitting)은 적합도 등의 문제로 인하여 타당한 결과를 얻기 어렵다. 이러한 이유로 개발 단계부터 인지진단모형을 적용하여 검사를 제작할 필요성이 증가하고 있지만 이와 관련한 연구는 많지 않다. 따라서 인지진단모형을 적용한 검사를 제작할 때 도움이 되도록 모수 추정이 잘되는 타당한 검사 조건을 살펴볼 필요가 있다. 이는 인지진단모형을 적용한 검사 설계 시 지침이 될 수 있을 것이다.
본 연구의 목적은 인지진단모형을 적용하여 검사를 개발할 때 문항 및 피험자 능력 모수 추정의 정확성에 영향을 주는 검사 조건이 무엇인지 알아보는 것이다. 이를 위해 DINA(Deterministic Input, Noisy, “And” gate)와 DINO(Deterministic Input, Noisy, “Or” gate) 모형에서 검사 길이, 인지요소의 수, 피험자의 수, 문항의 질이 변할 때 문항 모수 및 피험자 모수 추정의 정확성이 어떻게 달라지는지 탐색해보았다.
연구 목적을 달성하기 위해 모의실험 연구를 실시하였다. 먼저 검사 길이(24, 48), 인지요소의 수(4, 8), 피험자의 수(500, 1,000, 5,000), 문항의 질문항의 질(100:0, 75:25(=.4, =.2), 75:25(=.2, =.4), 75:25(=.4, =.4), 50:50(=.4, =.2), 50:50(=.2, =.4), 50:50(=.4, =.4)) 등의 요인별 조건에 따라 모의자료를 생성하였다. 그리고 생성한 자료를 DINA와 DINO 모형으로 각각 분석한 후 추정된 모수치가 진(true) 모수와 얼마나 차이가 발생했는지를 계산하였다.
본 연구의 주요 결과를 요약하면 다음과 같다.
모의자료를 생성한 후 DINA와 DINO 모형을 적용하여 분석한 결과 검사 길이에 비해 추정해야할 인지요소의 수가 많은 조건에서 문항 모수가 부정확하게 추정되는 것으로 나타났다. 이때 DINA 모형에서는 추측 모수가, DINO 모형에서는 실수 모수가 더 부정확하게 추정되었다. 또한 같은 조건에서 문항에서 요구하는 인지요소의 수가 1개인 Q-행렬로 분석할 경우 마찬가지로 DINA 모형에서는 추측 모수가, DINO 모형에서는 실수 모수가 과소 추정되는 다른 결과를 보였다. 검사에 응시하는 피험자의 수가 많아질수록 문항 모수는 정확하게 추정되었다. 문항의 질이 낮아질수록, 즉 추측 모수와 실수 모수가 커질수록 문항 모수는 부정확하게 추정되는 것으로 나타났다.
문항 모수는 검사 길이에 비해 추정해야 할 인지요소의 수가 많은 조건에서 부정확하게 추정된 것처럼 서로 연관성이 있는 요인이 존재했었다. 그러나 피험자 능력 모수를 추정할 경우에는 모든 검사 요인이 독립적으로 영향을 주는 것으로 나타났다. 검사 길이가 길어질 경우 분류정확도는 향상되었다. 반면에 추정해야 할 인지요소의 수가 증가하거나, 문항의 질이 떨어질 때에는 분류정확도는 하락하는 것으로 나타났다. 마지막으로 피험자의 수는 분류정확도에는 큰 영향을 주지 않았다.
이와 같은 연구 결과를 토대로 한 결론은 다음과 같다.
첫째, 인지진단모형을 적용한 검사를 개발할 때 검사 길이에 따라 정확성을 확보할 수 있는 최대 인지요소의 수를 넘지 않도록 설정해야 한다. 둘째, 검사 응시 인원이 충분히 클 경우에는 모수 추정을 저해하는 조건이 일부 포함되더라도 문항 모수가 비교적 정확히 추정되지만, 검사 응시 인원이 적을 경우에는 검사 조건을 좀 더 엄격하게 적용해야 한다. 셋째, DINA와 DINO 모형을 적용한 검사를 개발할 때 추측 모수와 실수 모수를 최소화 할 수 있는 방안을 모색해야 한다. 넷째, 인지진단모형을 적용한 검사 개발 시 보상성 가정을 고려해야 한다.

Cognitive Diagnosis Theory(CDT) offers detailed diagnostic information to help learners improve their study according to the mastery of cognitive attributes needed to get the right answers to the items. CDT has evolved into various cognitive diagnosis models(CDMs) according to manifest response variables, latent predictor variables, and compensatory nature of models.
Since CDT provides more information than the old testing theories, there have been diverse researches to find out new implications by applying a CDM to the developed tests. Such retrofitting approaches, however, have a difficult time obtaining valid outcomes due to the fitness issue, which has raised a need to apply a CDM to the development stage to develop a test. There are not, however, many researches on the subject. It is thus needed to examine valid testing conditions to promote parameter estimation in order to help with CDM-applied test development. The results will offer some guidelines for CDM-applied test design.
The purpose of this study was to identify testing conditions to affect the accuracy of estimating the item and examinee ability parameters in the development of CDM-applied tests. For that purpose, the investigator examined changes to the accuracy of item and examinee ability parameter estimation according to changes to test length(24, 48), number of attributes(4, 8), number of examinees(500, 1,000, 5,000), and item quality(100:0, 75:25(=.4, =.2), 75:25(=.2, =.4), 75:25(=.4, =.4), 50:50(=.4, =.2), 50:50(=.2, =.4), 50:50(=.4, =.4)) in the DINA(Deterministic Input, Noisy, “And” gate) and DINO(Deterministic Input, Noisy, “Or” gate) models.
A simulation study was carried out to fulfill the research objective. Simulation data were first generated according to the conditions by the factors and then analyzed with the DINA and DINO models to calculate differences between the item and examinee parameter estimates and the true item and examinee parameters.
The main findings were summarized as follows:
The study produced simulation data and analyzed them with the DINA and DINO models and found that the estimation of item parameters was inexact when the number of attributes to be estimated was too big for the test length. In the case, guessing and slip parameters were estimated more inaccurately in the DINA and DINO models, respectively. When the analysis was conducted with Q-matrix, which has only one attribute required from items under the same conditions, guessing and slip parameters were underestimated in the DINA and DINO models, respectively. The more examinees took a test, the more accurately the item parameters were estimated. The lower the item quality was or the bigger guessing and slip parameters were, the more inaccurately the item parameters were estimated.
The item parameters were estimated inaccurately when the number of attributes to be estimated was bigger than the test length, which proved factors related to each other. In the estimation of examinee ability parameters, however, all the testing factors had independent influences. The longer test length resulted in higher classification accuracy. But classification accuracy proved to be dropped when the number of attributes to be estimated was bigger or the item quality was lower. Finally, the number of examinees had no impacts on classification accuracy.
Based on those findings, the study reached the following conclusions:
First, it should be set not to exceed the maximum number of attributes to ensure accuracy according to test length in the development of a CDM-applied test. Second, when the number of examinees in a test is big enough, it can estimate the item parameters relatively accurately in spite of some conditions to disturb parameter estimation. when the number of examinees is small, it is needed to apply the test conditions more strictly. Third, it is required to search for ways to minimize the number of guessing and slip parameters in the development of DINA or DINO model-applied test. Finally, it is needed to develop a CDM-applied test by taking a compensatory assumption into account.