본 연구의 목적은 청소년수련시설 종합평가의 과정과 지표 및 결과에 대한 청소년지도자의 인식을 파악하고, 인구사회학적 변인 및 시설 특성에 따른 차이를 분석하여 청소년수련시설 현장의 의견을 반영한 청소년수련시설 종합평가의 운영방향을 모색해보고자 하는데 있다. 이와 같은 연구목적을 달성하기 위한 연구문제는 다음과 같다.
1. 청소년수련시설 종합평가 준비 및 과정에 대한 청소년지도자의 인식은 어떠하며, 인구사회학적 변인과 시설특성 변인에 따라 차이는 있는가?
2. 청소년수련시설 종합평가 평가영역 및 지표에 대한 청소년지도자의 인식은 어떠하며, 인구사회학적 변인과 시설특성 변인에 따라 차이는 있는가?
3. 청소년수련시설 종합평가 결과에 대한 청소년지도자의 인식은 어떠하며, 인구사회학적 변인과 시설특성 변인에 따라 차이는 있는가?

본 연구의 조사대상은 2015년도 청소년수련시설 종합평가에 참여한 전국 청소년수련관, 청소년문화의집 347개소의 운영대표자 및 청소년지도자로 설정하였다. 연구도구는 청소년수련시설 종합평가 사업수행기관인 한국청소년정책연구원에서 제시하고 있는 평가 매뉴얼과 ‘시범청소년수련시설 지정 및 인센티브 부여사업 5개년 평가 및 평가지표 개발 연구보고서’(문화관광부, 국립중앙청소년수련원, 2005), 그리고 정부 차원에서 수행하는 유사기관 평가에 대한 종사자 인식 및 기타 평가관련 연구보고서를 참고하여 자체 제작한 설문 문항을 활용하였다. 조사 기간은 2017년 8월 10일부터 30일까지 실시되었으며, 우편을 통해 조사대상 청소년수련관, 청소년문화의집에 설문지 1,000부를 발송하여 회수된 382부 중 340부를 분석에 활용하였다.

청소년수련시설 종합평가에 대한 청소년지도자의 인식을 분석한 결과를 요약하면 다음과 같다.
첫째, 청소년수련시설 종합평가 사업설명회에 대한 청소년지도자의 인식에서는 평가기준 및 서면조사표 작성 방법에 대한 구체적 제시와 사례중심 설명이 필요하다고 응답하였다. 그리고 청소년수련시설 종합평가 자체평가보고서(서면조사표)의 작성을 위해 필요한 기간은 현행(1개월)보다 증가한 2~3개월이 필요하다고 응답하였다.
둘째, 청소년지도자들은 현장평가의 적절한 진행시기를 1~3월이라고 응답하였으며, 이는 5월 청소년의 달, 7~8월 여름방학의 청소년사업이 주로 이루어지는 시기를 피할 수 있기 때문인 것으로 볼 수 있다. 다음으로 현장평가 소요시간은 직책과 시설유형, 운영주체에 따라 다소 인식의 차이가 있었으나 대체적으로 2시간 이내가 적절하다고 응답하였다. 이어서 현장평가 과정 중 가장 어려운 것은 ‘현장평가 준비 중 관계서류준비’가 가장 어렵다고 인식하고 있으나 현 종사경력, 평가 경험횟수, 운영주체에 따라 그 응답 경향에 다소 차이가 나타났다. 그리고 평가를 준비하는 과정에서 ‘전문가 방문에 의한 지표 점검?지원(컨설팅)’이 필요하다는 응답의 비율이 높게 나타났으며, 종합평가 전반의 과정에서 경험하는 어려움에 대한 인식에서는 대부분의 집단에서 ‘지역별 여건 및 환경이 다른데 동일 기준으로 평가’하는 것을 가장 어려운 부분이라고 인식하고 있었다. 그러나 청소년수련시설의 실무 담당자는 평가준비로 인해 본연의 사업 준비?진행에 어려움을 겪고 있다는 응답 비율이 높게 나타났다.
셋째, 청소년수련시설 종합평가 평가위원에 대한 청소년지도자의 인식에서는 남성과 평가 경험횟수가 많은 청소년지도자가 상대적으로 부정적인 인식을 갖고 있는 반면, 읍면지역에 위치한 청소년수련시설, 2015년 평가결과 적정 이하 등급을 획득한 청소년수련시설의 청소년지도자는 상대적으로 긍정적인 인식을 가지고 있는 것으로 나타났다. 그리고 청소년수련시설 종합평가의 평가위원 구성방안에 대해서는 모든 집단에서 ‘청소년수련시설의 운영대표자 및 경력자(청소년학 전공)’가 평가위원으로 반드시 포함되어야 할 필요가 있다고 응답하였다.
넷째, 청소년수련시설 종합평가의 평가지표에 대한 청소년지도자의 인식을 파악한결과, 평가영역 중 중요도가 가장 높은 영역은 ‘환경 및 안전’영역이었으며, 반대로 중요도가 가장 낮은 영역은 ‘대외협력 및 홍보’영역으로 나타났다. 한편, 평가준비 난이도가 가장 높은 영역은 ‘종합평가’, 준비 난이도가 가장 낮은 영역은 ‘환경 및 안전’영역으로 나타났다. 그러나 평가영역별 중요도와 난이도는 청소년지도자의 직책이나 시설유형, 입지여건, 평가 경험 횟수 등에 따른 인식 경향의 차이가 나타났다. 그리고 청소년지도자들은 청소년수련시설 종합평가의 평가영역 및 지표를 보완하기 위해서 청소년수련시설이 위치한 지역 등 환경적 특성을 반영한 평가지표가 제시될 필요가 있다고 응답이 높은 비율을 차지하고 있었다.
다섯째, 청소년수련시설 종합평가 결과점수와 자체 평가점수 간의 일치 여부에 대한인식에서는 연령, 직책, 입지여건에 따라서 상대적으로 일치하지 않는다고 인식하고 있는 비율의 차이가 나타났으며, 그 사유로는 평가위원과의 해석하는 기준이 다르기때문이라고 하였다. 그리고 청소년수련시설 종합평가의 결과에 영향을 미치는 요인에 대한 인식은 ‘평가지표’와 ‘평가위원’에 따른 영향이 가장 크다고 응답하였으나 연령과 운영주체에 따라 그 경향에 다소 차이가 나타났다. 한편, 청소년수련시설 종합평가가 청소년수련시설의 질적 수준 개선에 도움이 되는가에 대해서는 긍정적으로 인식하는 청소년지도자와 부정적으로 인식하는 청소년지도자의 비율이 비슷한 수준으로 나타났다.
마지막으로 평가결과의 활용방안에 대한 인식에서는 연령, 학력, 현 종사경력, 2015년 평가결과에 따라 다소 차이는 있으나 ‘우수 청소년수련시설 직원에 대한 인센티브 제공’을 필요로 하고 있었으며, 청소년수련시설 종합평가가 청소년지도자의 업무능력 인정이나 전문성 향상의 기회라고 인식되는 동시에 불만의 과정이나 심적 스트레스의 요인으로 작용하고 있음을 확인할 수 있었다.

이상의 분석결과에서 도출할 수 있는 결론은 다음과 같다.
첫째, 청소년수련시설 현장 중심의 평가가 이루어져야 할 필요가 있다. 이는 청소년수련시설 종합평가의 평가절차 및 방법, 기간과 시기를 현장의 주요 업무를 고려하여 선정하고, 계량화 될 수 있는 지표의 평가는 온라인을 통해 진행하는 등의 방법 등이 활용될 수 있다. 둘째, 청소년수련시설 종합평가의 방향이 청소년수련시설이 자체평가 과정을 통해 기관운영 전반에 대해 반성적으로 점검하여 현재 수준의 문제점을 알아보고 개선점을 찾을 수 있도록 지원하는 방향으로 전환되어야 할 필요가 있다. 청소년수련시설의 모든 구성원들이 자발적으로 시설의 장단점을 분석하여 당면한 문제를 보완하고 바람직한 발전방향을 제시할 수 있도록 하는 것이 평가의 목적 달성에 보다 효과적인 방안이 될 수 있다.
셋째, 평가지표는 청소년수련시설의 운영의 목표와 기준점이 되므로 평가지표는 최소 2년 전에는 공표하여 체계적으로 청소년수련시설의 운영에 반영할 수 있도록 하여야 한다. 특히, 매년 상황에 따라 평정기준, 평가요소, 평가내용을 수정하여 적용하는 것에서 벗어나 그동안의 축척된 평가관련 정보를 통계적으로 분석하여 향후 청소년수련시설의 질적 수준 제고를 도모할 수 있는 평가지표를 개발하여 적용해야할 필요가 있다.
넷째, 사회적 여건과 지역사회의 특성, 청소년수련시설의 설치 및 운영 형태별 여건의 특성을 반영하는 평가지표로의 개편이 필요하다. 이는 청소년수련시설의 질적 수준제고라는 청소년수련시설 종합평가의 목적을 달성하는 데 있어서 핵심적인 역할을 수행하는 청소년지도자의 부정적인 인식을 개선하고 주도적인 역할을 수행할 수 있도록하는데 도움이 될 수 있다.
다섯째, 평가위원의 전문성 확보와 현장에 대한 충분한 이해를 도모하기 위한 구체적인 방안이 마련될 필요가 있다. 예를 들어 평가위원 교육연수 과정을 개발하여 운영하거나, 평가경력과 현장 이해도 등을 고려한 평가조 편성 등의 방안을 통해 평가위원의 전문성을 확보하고 유지할 수 있도록 할 필요가 있다.
여섯째, 청소년수련시설 종합평가 평가결과가 단지 정부 정책의 성과를 점검하고 드러내는 것뿐만 아니라 청소년수련시설의 실질적 운영 개선에 직접적으로 영향을 끼칠수 있도록 하는 방안이 모색되어야 한다. 이러한 방안에는 청소년수련시설 종합평가 결과에 따른 인센티브의 다양화나 컨설팅 지원, 페널티 제도의 개선 등이 포함될 수 있다.
일곱째, 청소년지도자가 청소년수련시설 종합평가 과정에 경험하는 부담과 스트레스는 청소년과 함께하는 자기 본연의 업무 소홀로 이어질 가능성이 있다. 이러한 문제는 결국 청소년들에게 양질의 서비스를 제공하는데 있어 저해 요인으로 작용될 수 있다. 따라서 청소년지도자의 업무 부담을 줄이는 방식의 평가 운영방안이 마련될 필요가 있다.
끝으로, 청소년수련시설 종합평가는 일부 부정적 인식이 있지만 청소년수련시설의 운영체계 확립 등의 성과에 기여하고 있는 것이 사실이다. 그러나 청소년수련시설 종합평가 결과가 최우수 등급의 청소년수련시설이라고 해서 과연 ‘그 지역사회의 청소년들에게도 좋은 청소년수련시설인가?’, ‘청소년으로부터 꼭 필요한 일을 한다고 인정받고 있을까?’라는 물음에 대해 청소년정책을 운영하는 정부, 청소년수련시설 종합평가 수행기관과 평가위원, 청소년수련시설 현장 모두는 고민해 볼 필요가 있다. 특히, 정부가 추진하고 있는 청소년수련시설 종합평가 사업이 평가를 위한 맹목적인 평가는 아닌지, 즉, 평가 의무화에 따른 중압감으로 인하여 청소년사업의 목표들은 잊은 채 달성하기 쉬운 지표에만 집중하여 평가점수를 잘 받기 위한 일만을 수행하는 ‘평가의 역설’ 현상에 빠져버린 것은 아닌가 하는 문제에 대해서 정부와 청소년사업 현장 모두는 면밀하고 치열하게 논의해 볼 필요가 있을 것으로 생각된다. 그리고 결국 이 문제는 청소년수련시설 종합평가의 목적과 가치가 무엇인지를 고민하는 정부, 평가위원, 청소년지도자의 소통 속에서 정답을 찾을 수 있게 될 것이다.

A Study on the Perception of Youth Workers on the Comprehensive Evaluation of Youth Center: Focusing on Youth Center and Youth Cultural Center

The purpose of this study is to determine the perception of youth workers with regarding the course, indices and result of comprehensive evaluation of youth centers and analyze the differences in sociodemographic variables and characteristics of centers to explore the operating direction of comprehensive evaluation for youth centers that incorporated field opinions from those centers.

As for the subjects for this study, operating managers and youth workers from 347 youth centers and youth cultural centers from across the nation participated in the 2015 youth center comprehensive evaluation. Research tools included the survey questionnaire developed based on the evaluation manual developed by National Youth Policy Institute, one of youth center evaluators, the ‘Report on development of 5 years of evaluation and evaluation index for designation and incentivization of model youth centers’ (National Youth Center of Korea, Ministry of Culture and Tourism, 2015), and employee perception and other evaluation-related research reports on similar institutes conducted on government level. Research period was from Aug. 10 to Aug. 30, 2017, during which 1,000 questionnaires were sent out to youth centers and youth cultural centers via mail. Of the received 382, 340 were used in the analysis.

The results of analysis on the perception of youth workers regarding comprehensive evaluation of youth centers are as follows:
First, with regard to the perception of youth workers in youth centers comprehensive evaluation business presentation, the surveyees replied that evaluation standard and preparation of survey questionnaire required more concrete demonstrations and clarifications, and the period required to produce self-evaluation report for youth center comprehensive evaluation was 2 to 3 months, longer than the 1 month currently arranged.
Second, youth workers replied that appropriate time for field evaluation was between January and March, which is avoid May, the Month of Youth, and July and August where most youth works take place. Next, the required time for field evaluation varied by positions of youth worker, types of centers and operating principals, but in general, within 2 hours was deemed to be most adequate. Moreover, of the field evaluation processes, ‘preparation of document during preparation of field evaluation’ was perceived to be most difficult but there was some difference by work experience, number of evaluations experienced and operating principal. They also replied that in the course of preparation, it was necessary to provide ‘indices inspection and consulting by experts’, and with regard to faced difficulties during an comprehensive evaluation, most groups replied that the most difficult portion was ‘evaluating under identical criteria regardless of different regional conditions and environments’. However, it was determined that the evaluators were having difficulties of their own in preparing and implementing the business due to evaluation preparation.
Third, with regard to the perception of youth workers in the evaluation committee of youth centers, men and youth workers with higher experience in comprehensive evaluations, in terms of sheer numbers, had relatively negative perception, while youth workers from youth centers located in eup and myeon and from youth centers that performed inadequately in the 2015 evaluation had relatively positive perception. Moreover, with regard to formation of evaluation committee, all groups replied that ‘operating managers and experienced persons (majored in Youth Studies) from youth centers’ must be included in the committee.
Fourth, when determined the perception of youth workers on the evaluation index of youth center comprehensive evaluation, of all evaluated domains, ‘environment and safety’ displayed highest importance and ‘cooperation and PR’ least importance. Domains with highest and lowest difficulty in evaluation preparation were ‘comprehensive evaluation’ and ‘environment and safety’, respectively. However, importance and difficulty level by evaluation domain varied by position of youth worker, type of youth center, location, and experience in evaluation. Moreover, youth workers replied that evaluation indices should reflect different environmental characteristics for centers in different locations to effectively reinforce evaluation domain and index for the comprehensive evaluation.
Fifth, with regard to the perception on consistency between the scores from comprehensive evaluation score and self-evaluation, there was a significant difference in the perception of relative inconsistency by age, position and location. Their reason was that their basis for interpretation was different from that of the members of evaluation committee. Moreover, with regard to the perception on the factors affecting the result of comprehensive evaluation, the youth workers replied that the effect of ‘evaluation index’ and ‘evaluation committee’ were the highest, but this perception somewhat varied by age and operating principal. To the question on whether or not comprehensive evaluations help out quantitative improvement of youth centers, the number of youth worker who perceived it positively and negatively were about the same.
Lastly, with regard to the perception on utilization of evaluation result, although there was a certain level of difference by age, education, work experience, and 2015 evaluation result, most replied that ‘incentivization for employees at outstanding youth center’ was necessary. Moreover, it was determined that while it was perceived that comprehensive evaluations improved job competence or expertise for youth workers but they also prompted psychological stresses.

From the results of analysis, the following conclusion can be drawn:
First, the evaluations should be field-oriented. Evaluation procedure, method, duration and time must be determined based on major duties of the facility and evaluation on quantifiable indices can be performed online.
Second, the direction of comprehensive evaluation must be modified to provide support to youth centers to encourage self-evaluation and improvements. Stimulating the members of a center to voluntarily analyze the strength and weakness, resolve the problems and propose proper directions for advancement will be more effective in achieving the objectives of the evaluation.
Third, because the evaluation index establishes operational goals and baseline, it must be publicly informed at least 2 years to be systematically incorporated in the operations of youth centers. Especially, we must stop revising the evaluation standards, elements and contents on annual basis and statistically analyze the evaluation data accumulated until now to develop a definitive evaluation index to promote qualitative advancement for the centers.
Fourth, the evaluation index must reflect the social circumstance and characteristics, installation and operational type of youth center. This will improve the negative perception of youth workers, who place a significant role in achieving the goals of comprehensive evaluation, and inspire them to take initiative.
Fifth, a specific plan is required to secure expertise of evaluation committee and sufficient understanding of respective field. For example, it may prove to be effective to develop a course for the members of evaluation committee or form evaluation teams based on each member’s understanding in the specific center to be evaluated.
Sixth, it is imperative to adjust the results of evaluation to not only inspect the performance of government policies but also to directly affect the improvement of practical operations of youth center. It may include diversification of incentives, consulting services, and improved penalty system.
Lastly, the stress and burden experienced by youth workers during an comprehensive evaluation may lead to indifference or negligence, which will be detrimental in providing quality services to our youths. Therefore, integration evaluation system should be operated in ways to minimize work pressure for youth workers.