본 연구에서는 지자체 평생교육기관의 평가모형을 개발하고자 하였으며, 이를 통하여 지자체 평생교육기관의 질 관리 준거를 제시함으로써 지자체 평생교육기관의 효율적 운영 목적을 달성하는데 유용한 지침을 제공하고 나아가 평생교육이 지향하는 ‘언제나, 어디서나, 누구나 학습’할 수 있는 평생학습 사회구현에 기여하고자 하였다. 이를 위해 설정한 연구문제는 첫째, 지자체 평생교육기관의 평가모형은 어떤 체계로 구안, 설계되는가? 둘째, CIPP 평가모형과 BSC 평가모형을 적용한 지자체 평생교육기관 평가모형의 평가영역과 평가준거는 어떠한 것으로 구성되며 그 내용타당도는 어떠한가? 셋째, CIPP 평가모형과 BSC 평가모형을 적용한 지자체 평생교육기관 평가모형의 상대적 중요도는 어떠한가? 로 설정하였다.
연구문제에 따른 수행과정을 요약하면 다음과 같다.
첫째, ‘지자체 평생교육기관 평가모형 초안의 설계’를 위해 지자체 평생교육기관 경영 및 진흥과 관련된 특성, 평가모형(영역, 항목) 관련 연구, BSC와 CIPP 이론 및 적용 사례 탐색 등의 문헌분석을 통해 연구자가 개념모형과 초안을 구안하고 설계하였다.
둘째, 설계된 지자체 평생교육기관 평가모형의 구성 내용과 적절성을 확인하기 위해 평생교육 관련 전문가 6명으로부터 면접과 이메일 조사를 통하여 의견 수렴과정을 통해 정교화 하였다. 또한, 평가모형의 내용타당도를 확보하기 위해 평생교육 전문가(전공자, 실무자) 패널 36명을 대상으로 두 차례에 걸친 델파이 조사 기법을 활용하여 평가준거를 개발하여 확정하였다.
셋째, 개발 확정된 지자체 평생교육기관 평가모형의 각 위계에 따른 대영역, 관점, 중영역, 단계별 하위영역의 운영성과 평가준거의 상대적 중요도를 계층화 분석법(AHP)을 활용하여 가중치를 산출하여 상대적 중요도를 도출하여 확인하였다.
위와 같은 연구과정을 통해 얻은 연구결과를 바탕으로 결론을 제시하면 다음과 같다.
첫째, 지자체 평생교육기관 평가모형 초안의 설계는 BSC와 CIPP 이론 및 적용 사례 탐색 등의 문헌분석을 통해 지자체 평생교육기관이 공공기관으로서의 미션과 비전을 최상위에 두고 이를 달성하기 위한 대영역, 관점, 중영역, 단계별 하위영역의 4계층 위계구조로 연구자가 구안하여 초안이 설계되었다. 1계층의 대영역은 기관의 미션과 비전을 달성하기 위한 전략적 차원의 평가영역으로 ‘평생교육기관 경영 역량’과 ‘평생교육 진흥 역량’ 2가지가 도출되었다. 2계층의 관점은 대영역 달성 취지에 맞게 각 대영역별 4개 관점 총 8개의 관점으로 도출되었다. 3계층의 중영역은 각 관점별 2~5개씩 총 24개가 도출되었고, 마지막으로 4계층의 단계별 하위영역은 각 중영역에 따라 계획, 추진과정, 운영성과로 구분하여 총 129개를 도출하였다.
둘째, 연구자에 의해 구안된 평가모형을 보완하기 위해 6명의 평생교육 관련 전문가를 대상으로 그룹 인터뷰 및 이메일 조사 과정을 통해 2개 대영역, 8개 관점, 23개 중영역, 121개 단계별 하위영역으로 수정하였다. 수정안의 내용타당도를 확보하기 위해 평생교육 전문가(연구자, 실무자) 패널 36명을 대상으로 두 차례의 델파이 조사를 수행하였으며 각 평가준거의 내용타당도는 패널의 의견 일치 정도를 산출하는 CVR 값으로 확인하였고 추가적으로 패널 의견 제시를 반영하였으며 이러한 정교화 과정을 통해 2개 대영역, 8개 관점, 20개 중영역, 99개 단계별 하위영역으로 지자체 평생교육기관 평가모형을 최종 확정하였다.
지자체 평생교육기관은 국가나 지자체가 재정을 투여하고 교육대상이 전 연령층임을 감안할 때 공공성뿐만 아니라 효율성과 책무성까지 요구받는다. 그러므로 바람직한 미래 역할과 목표를 분명히 할 수 있는 미션과 비전이 제시되어야 하며 이를 달성하기 위해 지자체 평생교육기관은 대영역, 관점, 중영역, 마지막으로 단계별 하위영역을 적용한 입체적 평가가 이루어질 수 있도록 해야 한다.
셋째, 최종 확정된 지자체 평생교육기관 평가모형의 상대적 중요도를 대영역별로 구분하여 그 의미를 정리하였다. 1계층 ‘평생교육기관 경영 역량’의 평가준거는 2계층의 기관이해자 관점, 경영 프로세스 관점, 인적자원 관점, 재정 및 물적 자원 관점 등의 4개 관점으로, 관점별 2~3개씩으로 구성된 3계층 9개 중영역, 마지막으로 중영역별 3~4개씩으로 구성된 4계층 46개의 단계별 하위영역의 평가준거로 평가되어야 한다. 2계층의 4개 관점의 중요도는 비슷한 가중치를 확보하여 ‘평생교육기관 경영 역량’은 어느 특정한 관점의 성과만으로 이루어지지 않으며 다양한 관점들이 고르게 성장하고 발전할 때 가능하다는 것을 의미한다. 그중에서도 패널들은 인적자원 관점을 가장 높게 부여하였는데 이에 따라 중영역과 하위영역 운영성과 중에서 ‘조직 전문성 확보’의 ‘평생교육 전담부서 구성 여부’, ‘평생교육사 배치 비율’의 우선순위가 가장 높았다. 다음으로 경영 프로세스 관점에서는 ‘평생교육기관의 비전과 목표수립 및 달성’의 ‘중장기 계획 수립 시 지역사회 요구 반영 여부’로 나타났으며, 이어 재정 및 물적자원 관점에서는 ‘재정의 안정적 확보 및 효율적 운영’의 ‘예산 확보의 지속성’이 우선순위가 높았다.
이는 지식기반사회 사회에서 평생교육이 시민의 지적 성장과 변화를 담당하기 때문에 전담부서를 구성하고 전문성 있는 평생교육사 확보뿐만 아니라 구성원들의 직무연수를 지속적으로 제공하여 지식 전문성이 담보되어야 함을 시사한다. 또한 평생교육기관의 비전과 목표, 중장기 계획수립을 통해 지역사회 요구를 최대한 반영하고 시민소통을 위한 경영의 필요성을 의미하며, 지속적이고 안정적인 예산확보와 효율적 운영 등을 통해 평생교육기관 경영 역량이 향상될 수 있음을 시사하며 이러한 내용들은 지자체 평생교육기관의 경영 측면에서 더 비중 있게 다루어져야 할 것이다.
또한 1계층 ‘평생교육 진흥 역량’의 평가준거는 교육수요자 관점, 진흥 프로세스 관점, 인적자원 관점, 재정 및 물적 자원 관점 등의 2계층 4개 관점으로, 관점별 2~4개씩으로 구성된 3계층 11개 중영역, 마지막으로 중영역별 2~4개씩으로 구성된 4계층 53개의 단계별 하위영역의 평가준거로 평가되어야 한다. 2계층의 4개 관점의 중요도에서 교육 수요자 관점이 가장 높았으며 그 다음으로 인적자원 관점, 진흥 프로세스 관점, 재정 및 물적자원 관점 순이었다. 구체적으로 중영역과 하위영역 운영성과 중요도에서도 관점의 중요도에 영향을 받아 교육 수요자 관점에서는 ‘학습자 만족 제고’의 ‘학습자 만족도’와 ‘강좌 출석율 및 수료율’이 우선순위가 높았고 ‘잠재(신규) 및 소외계층 기회제공’의 ‘잠재(신규) 학습자 참여율’도 중요하였다.
평생교육의 진흥을 실현함에 있어 교육 서비스 수혜자인 기존 학습자의 출석율 및 수료율 관리에 적극적으로 대응하여 학습자 만족 제고에 만전을 기해야하며 아울러 잠재(신규) 학습자 유치를 통해 학습공동체 확산의 구체성과 방향성을 제시한다는 점에서 시사하는 바가 크다. 또한 지자체 평생교육기관의 역할 및 책임이 평생교육법에 명시된 것처럼 평생교육진흥을 위한 다양한 사업을 구상하고 운영할 때, 계획단계와 운영 및 평가 등 일련의 과정에서 교육 수요자의 관점에서 진행하여야함을 의미한다.
그 다음으로 인적자원 관점에서 ‘교·강사 전문성 강화’의 ‘우수 교·강사 인력풀 구축 및 활용도’ 순으로 가중치를 부여하였다. 교육의 질은 결국 교사의 수준에 의해 결정될 수 있음을 의미하며, 우수한 교·강사를 확보하고 지속적인 연수를 통하여 전문성 강화와 유지 노력이 중요함을 시사한다. 또한 중영역에서 3번째 순위로 종합가중치를 부여받은 진흥 프로세스 관점에서 ‘평생교육 프로그램 운영 및 정보 제공’은 인적자원 관점과 더불어 매우 중요하게 인식해야 할 평가준거이다. 교육의 3요소가 ‘학습자’와 더불어 ‘교육자’, ‘교육내용’이 중요한 것처럼 평생교육에서도 우수 교·강사의 확보와 함께 다양하면서도 유익한 프로그램이 제공 되어질 때 평생교육의 진흥과 확산은 지속성을 담보할 수 있음을 시사한다.

각 영역에서 우선순위로 제시된 평가준거들은 지자체 평생교육기관이 경영과 진흥의 차원에서 다양한 사업 및 업무를 진행할 때 고려해야 할 구체적 방안으로 제공될 수 있다. 위에서 살펴본 각 영역별 중요도 분석은 우선순위가 높은 영역을 중심으로 살펴보았고 그 외의 중영역과 하위영역 운영성과 평가준거는 논의하지 못하였다. 하지만 나머지 평가준거가 지자체 평생교육기관의 평가에 있어 간과되거나 배제되어서는 안 된다. 왜냐하면 문헌분석으로 도출된 평가모형을 두 차례의 델파이 검증을 통해 타당성을 인정받았고 실제 지자체 평생교육기관의 운영에 있어 대영역별 하위 영역들은 경영과 진흥의 측면에서 다루어지고 수행해야 할 중요한 업무이기 때문이다. 마지막으로 지자체 평생교육기관이 향후 경영이나 진흥차원의 성과평가를 실무적으로 진행할 때 적용하기 용이하도록 상대적 중요도 분석을 통해 산출된 가중치를 제시하였다.

This study aims to develop an evaluation model of local government lifelong education institution and through this, provide useful guidance in achieving the efficient management goal of local government lifelong education by presenting the quality control criteria of the local government lifelong education institution and furthermore, contribute to the implementation of the lifelong learning society where anyone can learn any time and everywhere which lifelong education pursues. For this, the questions given in the research were set such as, firstly, ‘what system is applied in the evaluation model of local government lifelong education institution?’ secondly, ‘how are the evaluation area and evaluation criteria of the evaluation model of local government lifelong education institution where CIPP evaluation model and BSC evaluation model are applied configured and what does look like its content validity?’, thirdly, what’s the relative importance of the evaluation model of local government lifelong education institution where CIPP evaluation model and BSC evaluation model are applied?
Summarized processes according to research questions are as follows.
First, for ‘designing of evaluation model draft of local government lifelong education institution’, the researcher wrote and designed a concept model and a draft through business management and promotion of local government lifelong education institution.
Second, in order to verify the configuration information and suitability of designed evaluation model of local lifelong education institution, refining work was implemented by opinion collection through the interview and email survey from 6 experts in lifelong education area. Also, the evaluation criteria was developed and confirmed by utilizing two times of Delphi survey technique for 36 people of lifelong education professional panels(graduates, practitioners) in order to ensure the content validity of the evaluation model.
Third, the relative importance was derived and confirmed by calculating weights through analytic hierarchy process(AHP) regarding the operational performance of high level area, perspective, middle level area, low level area of each step by each hierarchy of the evaluation model of local government lifelong education institution confirmed to be developed and the relative importance of evaluation criteria.
Conclusion based on the obtained results through the research process above are as follows.
First, when it comes to designing a draft of evaluation model of local government lifelong education institution, the draft of the evaluation model of local government lifelong education institution was written and designed into a four-tier hierarchy structure of high level area, perspective, middle level area and low level area of each step to achieve the top priority which is the mission and vision of local government lifelong education institution as a public institution through literature analysis such as exploring BSC and CIPP theory and applications. As the high level area which is a first tier is a strategic evaluation area to achieve the mission and vision of the institution, two items, ‘management competency of lifelong education institution’ and ‘lifelong learning competency development’ were derived. Regarding a second tier, perspective, a total of 8 perspectives where there are 4 perspective of each high level area were derived for the purpose of the high level area target. Regarding a third tier, middle level area, a total of 24 items, 2 to 5 items of each perspective were derived and lastly, regarding a fourth tier, low level area of each step, a total of 129 items were derived by dividing into planning, promoting process and operational performance by each middle level area.
Second, through the process of group interviews and email survey from 6 lifelong education related professionals to complement the evaluation model designed by the researcher, the modification was made such as 2 large level areas, 8 perspectives, 23 middle level areas and 121 low level areas of each step. Two times of Delphi survey was conducted for 36 lifelong education professional panels(researchers and practitioners) in order to ensure the content validity of the amendment, the content validity of each evaluation criteria was confirmed by CVR value which reflects the degrees of consensus among panels, additionally the opinion of the panel was reflected and the evaluation model of the local government lifelong education institution was finalized into 2 high level areas, 8 perspectives, 20 middle level areas and 99 low level areas of each step though such refinement process.
The lifelong education institution of local government is required to meet not only the publicity but also the efficiency and accountability when considering the fact that the central government or local government give a financial support and the education target is for all ages. Therefore, the mission and vision that can clarify desirable future role and objective need to be presented and local government lifelong education institution should make sure a three-dimensional evaluation where large level area, perspective, middle level area and lastly low level area of each step to be made in order to achieve this.
Third, the meaning was summarized by distinguishing the relative importance of the finally confirmed evaluation model of local government lifelong education institution into each high level area. The evaluation of first tier, ‘business competency of lifelong education institution’ needs to be made with 4 perspective, institution perspective, business process perspective, human resource perspective and financial and material resource perspective in second tier, 9 middle level areas consisting of 2 to 3 for each perspective, and lastly, 46 low level areas of each step consisting of 3 to 4 of each middle level area in fouth tier. As 4 perspectives in second tier showed similar weights, it means that ‘business competency of lifelong education institution’ can not be achieved by achievement of a specific perspective but is possible when different perspectives grow and develop evenly. While the human resource perspective got the highest score from panels among them, ‘the presence of lifelong education department’ and ‘the ratio of lifelong educator’ of ‘securing organizational expertise’ got the highest priority in the operation performance of middle level area and low level area accordingly. ‘The presence of reflecting community needs in establishing a long term plan’ of ‘establishing and achieving the vision and goals of lifelong education institution was shown in the business process perspective and ‘continuity of funding’ of ‘ensuring stable and efficient operation of finance’ in the financial and material resource perspective showed a high priority.
It indicates that the expertise in knowledge should be guaranteed by configuring a dedicated department and not only ensuring lifelong educator with expertise but also providing a job training to members continuously as lifelong education is in charge of intellectual growth and change of citizens in the knowledge-base society. Also, it refers to the need of reflecting community’s needs as much as possible and managing the communication with citizens through the vision and goals of lifelong education institution and long-term planning and it suggests that the business competency of life long education can be improved through continuous and stable funding, efficient management, etc. and these items should be addressed with a higher priority in terms of the management of local government lifelong education institution.
Also, while ‘the evaluation criteria of ‘lifelong education promotion competency’ in first tier consists of 4 perspectives in second tier such as education consumer perspective, human resource perspective, and financial and material resource perspective, it needs to be evaluated by the evaluation criteria of 11 middle level areas of third tier consisting of 2 to 4 of each perspective and lastly 53 low level areas of each step of fourth tier consisting of 2 to 4 of each middle level area. The education consumer perspective showed the highest in 4 perspectives of second tier and it was followed by human resource perspective, promotion process perspective and financial and material resource perspective. Specifically, as being influenced by the importance of perspective also in the operating performance importance of the middle level area and low level area, ‘learner’s satisfaction’ and class attendance rate and completion rate’ of ‘enhancing learner satisfaction’ had a high priority in the education consumer perspective and ‘the participation rate of potential(new) student’ of ‘providing opportunities to potential(new) and underprivileged people’ was also important.
When realizing the promotion of lifelong education, every effort should be made to improve learner’s satisfaction by actively responding to the attendance rate management and completion rate of existing students who are education service beneficiaries and it is greatly meaningful in the fact that it presents specificity and direction of spreading the learning community through promoting potential(new) students. Also as the roles and responsibilities of local government lifelong education institution are stated in the lifelong education law, it means that designing and operating various businesses for lifelong education promotion should be proceeded from education consumer’s perspective in a series of course such as planning phase, operation, evaluation, etc. Next, weights were assigned in the order of ‘building of excellent teacher and instructor pool and it utilization’ of ‘strengthening of teacher and instructor expertise’ in terms of human resource. It means that the quality of education can be determined by the level of teacher in the end and it indicates that strengthening expertise and maintaining efforts through securing excellent teachers and instructors and ongoing training are important. Also ‘operating lifelong education program and providing information’ should be recognized as a very important evaluation criteria together with human resource perspective in terms of promotion process perspective which got a third rank of overall weight in the middle level area. As ‘educator’ and ‘education content are important in the three elements of education together with ‘learner’, it suggests that also in lifelong education, promotion and spread of lifelong learning can ensure sustainability when diverse and informative programs are provided together with excellent teachers and instructors.
The evaluation criteria suggested as the priority in each area can be provided as specific measures to be considered when local government lifelong education institution implements various businesses and works in terms of business and promotion. The priority analysis of each area reviewed above was investigated focusing on the high priority areas and the evaluation criteria of operating performance on other middle level areas and sub areas were not discussed. However, the rest of the evaluation criteria should not be overlooked or excluded in the evaluation of local government lifelong education institution. It’s because the evaluation model derived from a literature analysis was recognized with its validity through two times of Delphi verification and sub areas of each high level area are important tasks which should be addressed and performed in the business and promotion when operating actual local government lifelong education institutions. Lastly, in order to allow local government lifelong education institution to easily apply in implementing actual performance evaluation in terms of business or promotion in the future, the weight calculated through the relative importance analysis was presented.