이 연구는 CIPP평가모형에 근거하여 공립 유치원 원내 자율장학 평가 도구를 개발하는 데 목적이 있다. 이러한 연구 목적을 달성하기 위해 다음과 같은 연구 문제를 설정하였다.
첫째, CIPP평가모형에 근거한 원내 자율장학 평가 도구의 평가 요인은 무엇인가?
둘째, CIPP평가모형에 근거한 원내 자율장학 평가 도구의 평가 문항은 무엇인가?
셋째, CIPP평가모형에 근거한 원내 자율장학 평가 도구는 타당한가?
이 연구의 절차는 평가 요인 구성 단계, 평가 도구 개발 단계, 타당도 검증 단계로 구분하여 연구를 진행하였다. 첫째, 평가 요인 구성 단계에서는 전문가 협의회의 구성원(5인)과 전문가 집단 의견조사를 위한 전문가 집단(30인)을 구성하였다. 선행연구 및 문헌 고찰을 통해 원내 자율장학 평가 도구의 평가 요인(안)을 마련한 뒤 전문가 협의회 및 반구조화 설문 조사를 통해 평가 요인을 선정하였다. 평가 요인(안)은 상황평가영역의 5개, 투입평가영역의 7개, 과정평가영역의 6개, 산출평가영역의 3개로 총 21개 평가 요인(안)이였다. 전문가 협의회의 구성원(5인)에게 반구조화 설문 조사를 실시하였으며, 내용타당도(CVR) .99 이상, 합의도 .75 이상, 수렴도 .50 이하인 경우 타당하다고 판단하여 평가 요인으로 선정하였다. 그 결과 선정된 평가 요인은 상황평가영역 3개, 투입평가영역 3개, 과정평가영역 5개, 산출평가영역 2개로 총 13개의 평가 요인을 선정하였다.
둘째, 평가 도구 개발 단계에서는 선정된 평가 요인별로 CIPP평가모형의 이론 및선행연구의 문항을 참고하여 72개의 문항을 작성하였다. 전문가 협의회 구성원 5인의 토론을 거쳐 문항이 평가 요인을 잘 대표하고 있는지, 문법에 맞지 않는 문장이 있는지, 문항이 중복되지 않았는지, 공립 유치원 상황에 맞는지, 문항의 의미가 명료한지 등을 검토하여 문항을 수정하거나 삭제하여 71개의 예비문항을 구성하였다. 내용타당도 검증을 위하여 전문가 집단 30인을 대상으로 전문가 집단 의견조사를 2차례 실시하였으며, 그 결과 CIPP평가모형에 근거한 공립 유치원 원내 자율장학의 평가 도구는 4개의 평가 영역, 13개의 평가 요인, 65개의 평가 문항이 개발되었다. 개발된 예비 문항의 타당도 및 신뢰도 검증을 위해 공립 유치원 교사를 대상으로 예비 조사를 실시하였으며, 성실하게 응답한 127명의 응답 결과를 토대로 문항 분석과 신뢰도 분석, 탐색적 요인분석을 하였다. 문항 분석과 신뢰도 분석 결과, 삭제된 문항은 없었다. 그러나 탐색적 요인분석 결과, 처음 설정한 대로 13개의 평가 요인으로 묶였으나 요인에 묶이지 않는 3개의 문항과 요인적재치가 낮은 2개의 문항이 있어 제거하여 다시 분석하였다. 2차 탐색적 요인분석 결과, KMO 표본적합도 검증 결과는 .883로 나타났으며, Bartlett의 단위행렬 검증 통계량이 6575.505로 나타나 p<.001 수준에서 통계적으로 단위행렬이 아니었음이 검증되어 요인분석에 적합함을 확인하였다. 60개 문항들의 요인부하량은 .5 이상으로 모든 문항들이 중요한 변수로 나타났다. 그 결과, 4개의 평가 영역, 13개의 평가 요인, 60개의 평가 문항이 개발되었다.
셋째, 타당도 검증 단계에서는 CIPP평가모형에 근거한 원내 자율장학 평가 도구의 타당도 및 신뢰도 검증을 위해 공립 유치원 교원을 대상으로 본 조사를 실시하였다. 교사와 전임 원장과 원감은 전집으로 표집 하였으며, 겸임 원장과 원감은 전임 원장과 원감의 회수 비율을 고려하여 임의 표집 하였다. 회수된 설문지 중 성실하게 응답한 314명의 응답 자료를 토대로 문항 분석 및 신뢰도 분석, 확인적 요인분석, 구인타당도를 확인하였다. 문항 분석과 신뢰도 분석 결과, 삭제되는 문항은 없었으며 신뢰도 .840~.918로 높게 나타났다. 확인적 요인분석 결과, 절대 적합 지수 및 상대 적합 지수 모두 기준치 이상이거나 기준치에 근접하여 본 연구에서 개발한 원내 자율장학 평가 도구는 타당한 도구임을 확인하였다. 구인타당도 검증을 위해 집중타당도, 판별타당도, 법칙타당도를 확인하였다. 표준화 회귀계수 .565~.964로 모두 기준치인 .5를 초과하였으며, C.R값 8.691~17.557로 모두 기준치인 1.965보다 높게 나타났다. 개념신뢰도를 계산한 결과 .867~.963로 모두 기준치인 .7보다 높게 나타나 집중타당도가 확보되었다. 판별타당도를 확인하기 위하여 평가영역별로 상관이 가장 높은 상관계수를 [AVE 값 > (상관계수)2 = 판별타당도 확보] 공식에 적용시켜 본 결과, AVE 값은 상관계수의 제곱보다 모두 크게 나타나 판별타당도가 있는 것을 확인하였다. CIPP평가모형과 원내 자율장학의 각 평가 요인이 서로 정적인 상관을 지향하고 있으며, 잠재변수 간 공분산의 상관관계를 비교하면 평가 요인 간 정적인 상관을 가지고 있어 통계적으로 유의하므로 법칙타당도를 확보했음을 확인하였다.
이로써 4개의 평가 영역, 13개의 평가 요인, 60개의 평가 문항으로 구성된 CIPP평가모형에 근거한 공립 유치원 원내 자율장학 평가 도구를 확정하였고, 개발된 평가 도구는 원내 자율장학을 평가할 수 있는 신뢰도와 타당도가 확보된 도구이다.
이 연구는 원내 자율장학을 실행하는 유치원의 일반교사부터 관리자들이 활용할 수 있도록 평가 도구를 개발하였으며, 원내 자율장학을 점검해 볼 수 있도록 평가 도구가 개발되어 있지 않은 상황에서 평가 도구가 개발되었다는 데 의의가 있다. 또한 이 연구에서 원내 자율장학 평가 도구는 CIPP평가모형을 근거로 하였기에 장학의 여건조성부터 평가 활용까지 포괄하는 내용으로, 그 내용 안에는 유치원내에서 실행할 수 있는 모든 장학의 내용이 포함되어 있다. 원내 자율장학으로 유치원에서 실행하고 있는 장학은 유치원마다 다르기 때문에 원내 자율장학 평가 도구 중 과정평가영역은 유치원에서 실행하고 있는 장학으로 선별하여 활용하면 된다. 원내 자율장학 평가 도구는 각 유치원이 따라야 할 기초이자 기준으로 활용이 가능하며, 외부에서 실시되는 평가와 달리 단위 유치원의 교육철학과 운영의 자율성을 토대로 유치원 자체평가 기능을 강화하는데 활용될 수 있다. 장학은 수업을 점검해 볼 수 있는 좋은 활동이고, 이러한 장학을 객관적으로 점검할 수 있는 원내 자율장학 평가 도구의 활용은 교사가 자발적으로 노력하여 자신의 수업을 객관적으로 보려는 활동과 연결되어 교사의 전문성 향상에 기여할 것으로 기대된다.