컴퓨팅 사고력 기반의 창의적인 문제해결 능력을 갖춘 인재를 기르기 위해 영국, 일본 등 많은 해외 주요국에서 프로그래밍 교육을 강화하고 있다. 우리나라도 2015 개정 교육과정에서 편제 상의 변화(선택에서 필수, 고등학교 제외)와 내용 상의 변화(‘문제해결과 프로그래밍’ 영역 확대)가 있었으며, 프로그래밍 교육에서 학습자의 수준에 맞는 언어의 선택과 성취감을 통해 흥미와 동기를 유발하는 교수?학습 방법, 그리고 학습자가 구안한 알고리즘의 정확성과 효율성에 대한 평가를 강조하고 있다. 이에 최근 많은 학교에서 ‘Online Judge’라고 불리는 자동 평가 시스템을 활용하고 있지만, 대부분의 시스템이 텍스트형 언어 만을 제공하고 있어 학습자의 수준에 따른 언어의 선택에 한계가 있다. 특히, 자동 평가 시스템에 대한 연구에서도 그 결과가 텍스트형 언어만 반영되어 있어 블록형 언어를 사용하는 초등학교와 중학교에까지 그 효과성을 확장하여 해석하기 어렵고, 학습자의 정의적, 또는 인지적 영역에 대한 차이 검정 수준의 연구가 대부분이어서 학습자의 주요 변인에 대한 구조적 영향력과 각 변인 간의 인과적 관계에 대한 연구는 충분하지 않다. 이러한 연구 상황은 자동 평가 시스템을 활용한 프로그래밍 교육에서 학습자의 정의적, 인지적 영역을 종합적으로 고려한 효과적인 교수?학습 및 평가 방법에 대한 연구가 필요하다는 것을 의미한다. 아울러, 프로그래밍이 모든 학생이 배워야 하는 필수 교육으로 간주되는 요즘, 성별에 따른 학습 효과의 차이와 이를 해소하기 위한 방안에 대한 연구는 매우 긴요하다고 할 것이다. 이에 본 연구에서는 2015 개정 정보과 교육과정에서 제시하는 교수·학습 및 평가 방법과 그 간의 관련 선행 연구를 바탕으로 텍스트형 언어로의 전이를 고려한 블록형 언어와 C, Python 언어 등의 일반적인 텍스트형 언어를 모두 지원하는 자동 평가 시스템을 개발하였다. 그리고, 일반고 2교에 재학 중인 216명의 학생을 대상으로 정보 교과의 정규 수업에 적용하였으며, 이에 대한 적용 결과를 토대로 자동 평가 시스템의 활용이 학습 동기와 사고력에 미치는 영향과 변인 간의 구조적 관계를 규명하고, 언어 유형과 성별의 주 효과와 상호작용 효과를 분석하였다. 즉, 개인차 변인인 성취목표지향성, 자동 평가 시스템의 활용도를 나타내는 자동 평가 횟수, 학습 동기 변인인 자기효능감과 몰입, 학습 효과 변인인 컴퓨팅 사고력, 논리적 사고력, 성취도 간의 구조적 관계와 더불어 언어 유형(블록형, 텍스트형)과 성별의 주 효과와 상호작용 효과를 확인하였다. 이를 통해 본 연구에서 개발한 자동 평가 시스템의 교육적 활용 가능성과 그 활용이 학습 동기와 사고력에 미치는 구조적 영향력과 인과 관계를 규명함과 동시에 프로그래밍 교육에서 성취목표지향성과 성별 등의 학습자 특성과 교사가 선택하는 언어 유형에 따른 효과적인 교수?학습 설계 및 평가 전략을 수립하는데 기초를 제공하고자 하였다. 연구 결과를 요약하면, 학습목표지향성과 자동 평가 횟수는 자기효능감과 몰입을 매개로 컴퓨팅 사고력과 성취도에 정(+)적인 영향을 미쳤으며, 수행목표지향성은 자기효능감에는 정(+)적인 영향을 미쳤으나, 몰입, 사고력, 성취도로는 발현되지 않았다. 특히, 자동 평가 횟수는 컴퓨팅 사고력, 논리적 사고력, 성취도에는 직접적인 영향을 미치지 못하였고, 자기효능감을 거쳐 몰입으로, 다시 몰입에서 각각의 컴퓨팅 사고력, 논리적 사고력, 성취도에 이르는 경로를 통해 간적접인 영향을 미쳤다. 이것은 자기효능감과 몰입의 완전 매개 효과를 확인한 것이며, 자동 평가 횟수가 사고력과 성취도에 유의한 영향을 미치기 위해서는 자기효능감과 몰입의 매개 변인이 있어야 한다는 것을 의미한다. 즉, 프로그래밍 학습을 위한 교육용 도구의 적용에 있어 개인의 성취목표지향성 뿐만 아니라 자기효능감, 몰입 등의 동기적인 요인에 대한 고려가 요구됨을 함의한다. 또한, 블록형 언어를 사용하는 집단과 텍스트형 언어를 사용하는 집단 간에 자동 평가 횟수, 자기효능감, 몰입, 성취도에서 유의한 차이가 있는 반면, 컴퓨팅 사고력, 논리적 사고력에서는 유의한 차이가 없는 연구 결과로부터 언어 유형의 차이가 학습동기의 차이를 가져오기는 하나, 사고력의 차이를 가져올 만큼 영향력을 발휘하지 못하고 있음을 확인하였다. 아울러, 성별 간에는 자기효능감의 차이는 없고, 몰입, 사고력, 그리고 성취도에서 남학생이 여학생보다 높은 연구 결과로부터 프로그래밍 교육 시 언어 유형과 학생의 성별을 고려한 교수?학습 설계와 평가 전략이 필요하다는 것을 의미한다. 이러한 연구 결과에 대한 분석을 바탕으로 목표 지향적인 과제가 많은 프로그래밍 교육에서 교사는 학생들이 과업 자체를 즐기는 분위기 조성이 필요하며, 자동 평가 시스템의 개발과 적용에 있어 학습 동기를 유발하는 다양한 프로그래밍 언어가 요구됨을 시사한다. 즉, 블록형 언어 등의 학습자 친화적인 교육용 언어의 선택, 자동 평가 시스템에서 제공하는 즉각적인 교정적 피드백과 경쟁적 요소 등이 학습동기에 영향을 미치며, 이러한 정의적인 요인 없이 단순한 도구의 활용은 인지적인 학습 성과로 발현되지 않는다는 점은 시사하는 바가 크다. 아울러, 언어 유형에 따른 학습 동기의 차이를 고려하여, 프로그래밍 학습 초기에 텍스트형 언어로의 학습 전이를 유도하는 블록형 언어를 적용한다면 텍스트형 언어도 고교 단계에서 충분한 학습 효과를 가져올 수 있음을 시사한다. 또한, 성별에 따른 학습 동기와 학습 효과의 차이를 고려하여 여학생이 프로그래밍 학습에 좀 더 몰입할 수 있도록 하는 자동 평가 시스템의 설계와 교수?학습 방법의 구안 및 자료의 개발이 필요하다는 점을 시사한다. 본 연구는 ‘Online Judge’로 통칭되는 자동 평가 시스템에 대한 그 간의 연구가 시스템의 개발이나 효과성의 확인에 그쳤던 것과는 달리 사고력과 성취도 등의 인지적 학습 효과에 이르게 하는 개인차 변인과 동기적 매개 변인 간의 구조적 관계를 규명하였으며, 교사가 선택하는 언어 유형과 학습자의 성별에 따른 주 효과와 상호작용 효과를 확인함으로써 효과적인 프로그래밍 교육을 위한 교수?학습 설계 및 평가 전략을 수립하는 데 다양한 시사점을 제공하였다는 점에서 의미 있는 연구라고 할 것이다.