본 연구의 목적은 공학 분야의 직무 능력 평가를 위한 온라인 평가 도구를 개발하는 것이다. 본 연구의 목적을 달성하기 위하여 온라인 평가와 공학 직무능력 평가에 대한 관점을 고찰하고, 온라인 교육 환경에서 공학 분야의 직무 능력을 평가할 수 있는 도구를 탐색하여 평가시에 실질적으로 활용할 수 있는 프로토타입, 기능정의서 및 시나리오를 개발하고자 하였다. 이를 위해 본 연구에서는 직무능력 평가와 관련된 선행 연구를 분석하고, 20명의 분야 전문가를 대상으로 설문을 실시하여 IPA 분석 및 개발된 평가도구의 타당성을 확보하였다. 주요 연구 결과를 살펴보면, 공학 직무 능력 평가를 위한 도구는 포트폴리오, 문제해결시나리오, 필기시험, 사례 연구 과제, 상호작용 지수, 일지/저널, 캡스톤디자인보고서, 에세이, 온라인 실습, 실험보고서가 도출되었으며, 중요도 분석결과 우선순위로 선정된 도구는 포트폴리오, 온라인실습, 문제해결시나리오, 사례연구과제, 실험보고서, 상호작용지수로 나타났다. 또한 IPA기법을 통해 중요도와 활용도를 분석한 결과, 온라인실습 도구는 온라인 기반과 공학 직무능력 기반 모두 1사분면(유지: 지속적 적용 영역)에 해당되었다. 그리고 포트폴리오가 온라인 기반과 공학 직무능력 기반 모두 2사분면(집중: 시급 적용 영역)에 해당되었다. 공학 분야에서 평가도구로 온라인실습, 포트폴리오에 중요도가 높고 활용이 필요함을 보여주는 결과이다. 이러한 결과를 바탕으로 본 연구에서는 공학 직무능력 평가를 위한 프로토타입, 기능정의서 및 시나리오를 개발하였다. 본 연구는 공학 직무 능력 중심의 평가를 위한 실증적 연구 결과를 제공하여 온라인 교육의 질을 제고할 수 있을 것으로 기대된다.
The purpose of the study was to develop an competency based assessment tools for online in engineering disciplines. For this purpose, the study investigated the concepts of competency based assessment and the appropriate assessment tools for evaluating engineering disciplines in online learning. And this study analyzes previous studies on engineering competency based assessment in online learning, and Importance-Performance Analysis (IPA) which was conducted by 20 experts on researching competency based assessment to find the importance and the order of priority. As the result of IPA, the importance and performance of assessment tools is proposed as 4 quadrant. The overall result indicates that the assessment tools toward competency based assessment include developed portfolio, problem solving scenario, text based exam, task of case study, interaction indices, journal, capstone design course report, essay, online practice, and experiment report. In the order of priority, the study found portfolio, online practice, problem solving scenario, task of case study, experiment report and interaction indices to be the most assessment tools. As for the result of analyzing IPA, the assessment tool of online practice was included in 1st quadrant(sustaining maintenance) for both online and competency of engineering disciplines. The assessment tools of portfolio was included in 2nd quadrant (urgent improvement) both online and competency of engineering disciplines. As these results, prototypes, specifications and scenarios were developed as assessment tools to validate competency based assessment of engineering disciplines in online learning. The findings offer an insight into methods for explain assessment tools and for developing the assessment tools by providing the evaluator with specific and practical guidelines for explain assessment tools to improve the quality of online learning.