본 연구는 대표적 과학문화 기관인 국립과학관 평가지표에 대한 중요도 인식 분석을 통해 책임운영기관 평가제도의 개선방향을 도출하는 것에 그 목적이 있다. 이를 위해 우선 책임운영기관과 책임운영기관 평가와 관련한 이론적 고찰을 실시하고, 주요 평가지표 항목 및 평가 인식에 대한 다양한 이론적 논의도 살펴보았다. 또한 책임운영기관 제도 및 평가제도, 과학관 발전과정과 현황, 해외 책임운영기관 평가제도와 다른 공공기관 평가제도, 책임운영기관인 국립과학관의 평가제도에 대해서도 분석하였다. 이러한 이론적, 제도적 연구 결과를 토대로 각각의 연구문제를 도출하고 이에 대한 확인을 위한 연구를 실시하였다. 국립과학관 직원을 대상으로 AHP 조사를 실시하여 지표의 중요도를 분석하고 과학관 내부 및 외부 전문가에게 추가적인 심층 면담을 실시하여 AHP 조사 결과에 대한 원인과 평가제도 개선 방안을 심층적으로 파악하였다.
우선 과학관 내부직원에 대한 AHP 분석결과는 현행지표와 비교하여 의미있는 차이를 보였다. ‘고유사업 성과’를 가장 높은 비중으로 한 현행 지표와 달리 ‘조직운영’, ‘기관장 리더십 및 전략’, ‘고유사업 성과’ 순으로 중요하다고 생각하고 있으며, 중요하다고 인식하지 않는 지표는 ‘고유사업 성과평가의 적절성’, ‘성과 및 환류’ 순으로 나타났다. 심층면담에서 내부 전문가들은 전반적으로 현행지표의 중요도보다 AHP 분석 결과의 중요도에 동의하였으며, 그 이유로는 현재 국립과학관의 기관 특성을 잘 반영한 점을 들었다. 현재 가장 중요하게 설정된 ‘고유사업 성과’는 원칙적으로는 중요한 것이 맞지만 고유사업 성과를 잘 평가받기 위한 선결조건으로서 ‘기관장 리더십 및 전략’, ‘조직운영’과 같은 다른 평가 요소가 더 중요할 수 있음을 지적하고 있다.
두 번째로 기관별 AHP 결과를 살펴보면 두 과학관의 소속 직원들은 ‘기관장 리더십 및 전략’과 ‘조직운영’ 지표의 중요성에 대해 두드러진 인식 차이를 보이는 것으로 나타났다. 기관 간 중요도 인식 차이의 원인에 대해서는 기관의 연혁과 주요 역할(미션) 및 방향성(비전) 또는 성격, 조직 구성원의 경험치와 역량, 기관장의 지위와 임기 등이 인식의 차이에 영향을 주는 것으로 보았다. 특히 내부 전문가들은 기관의 연혁에 따라 조직의 안정화 정도가 다르고, 기관장의 평균 임기 경향에 따라 리더십 발휘 정도나 그에 대한 조직 구성원의 반응이 다를 수 있기 때문에 이에 따라 무엇이 중요하게 평가되어야 하는가에 대한 조직 구성원들의 인식이 다를 수 있다고 보았다. 즉, 연혁이 짧고 기관장의 평균임기가 긴 경향을 띠는 기관의 구성원은 다른 기관에 비해 ‘기관장 리더십 및 전략’을 ‘조직운영’보다 중요하게 인식할 것으로 보았다.
세 번째로 AHP 분석 결과에 대한 내부 및 외부 전문가의 전반적인 의견은 현행 지표의 중요도보다 AHP 분석결과의 중요도에 동의하였다. 다만, 외부 전문가들은 현행지표의 중요도와 AHP 분석 결과의 중요도 차이에 대해 대체로 인정하면서도 전적으로 동의하기는 어려워하는 면이 있었다. 과학관만의 특성을 잘 담아내거나 자율성을 강조하는 책임운영기관 본래의 취지 목적대로 운영하는 것 외에 외부에서 기대하는 과학관의 주요기능은 내부의 의견과 다를 수 있고 이를 충분히 고려하는 것도 중요하다고 보기 때문이다. 외부 전문가는 공통적으로 ‘기관장 리더십 및 전략’이 중요하다고 보았고 ‘고유사업 성과’ 역시 중요하다고 인식하였으며, ‘조직운영’은 그 다음 순서였다.
마지막으로 내·외부 전문가 모두 전반적으로 평가방식과 지표가 일률적으로 구성되어 있어 개선이 필요하다고 인식하고 있었다. 본 연구 결과를 통해 얻은 책임운영기관인 과학관을 대상으로 한 평가제도의 주요 개선방향을 정리하면 다음과 같다.
첫째, 현재 행정안전부가 설정한 책임운영기관 평가지표와 달리 과학관 소속 직원들과 외부전문가들이 중요도가 높은 것으로 인식하고 있는 ‘기관장 리더십 및 전략’ 등의 비중을 확대하고 ‘고유사업 성과평가 적절성’과 같이 중요도가 낮은 지표의 경우 평가 비중을 축소하거나 과감히 중복성을 띠는 유사 지표들을 통합하는 등의 지표 개선이 필요하다. 둘째, 심층면담결과를 살펴볼 때, 현행 평가제도가 일률적으로 구성되어 있어 피평가기관의 특성을 반영하지 못하고 있다. 따라서 기관의 특성을 반영하는 방향으로 평가 요소가 달라져야 할 필요가 있다. 구체적으로는 피평가기관을 유형별로 나누어 공통 평가 요소에 따라 평가하는 한편, 병원, 연구기관과 같은 다른 유형의 책임운영기관과는 구분하여 특성화된 평가 지표를 설정할 필요가 있다. 그리고 다른 유형의 기관과는 상대적 비교를 지양하는 절대 평가의 실시를 고려할 수 있다.
본 연구에서는 평가제도에 대한 비판에 그친 다른 선행연구들과는 달리 피평가기관 소속 전문가의 입장에서 평가 지표 및 평가제도 개선방향을 제시하였다. 또한 정부기관, 공공기관, 타 책임운영기관에 대한 연구와 달리 기존 연구에서 찾아 볼 수 없었던 과학문화 기관인 과학관에 대한 연구이며, 특히 내부자의 시각을 고려한 연구라는 점에서 차별성이 있다고 보인다. 연구자의 이전 연구에서 피평가기관의 내부 구성원 인식 연구로서 한계를 극복하고 책임운영기관 평가 경험이 있는 외부 전문가의 의견을 심층 분석하고 반영하여 연구결과를 더욱 풍부하게 하고 객관성과 타당성을 보강한 개선 방향을 도출할 수 있었다.

[주제어: 책임운영기관, 책임운영기관 평가제도, 과학관, 평가지표 인식, 분석적 계층화 방법(AHP), 심층면담]

The purpose of this study is to derive the improvement direction of the evaluation system for the Executive Agency through the analysis of the importance perception among evaluation indexes of the National Science Museum, a representative science and culture institution. To this end, theoretical considerations related to the evaluation of Executive Agencies were first conducted, and various theoretical discussions on major evaluation index items and perception about evaluation were also examined. It also analyzed the Executive Agency system and its evaluation system, the development process and status of science museums, the evaluation system of overseas Executive Agencies, the evaluation system of other public institutions, and the evaluation system of the national science museum. Based on these theoretical and institutional research results, each research problem was derived and a study was conducted to solve it. The AHP survey was conducted on the staff of the National Science Museum to analyze the importance of the indexes and to conduct additional in-depth interviews were conducted with experts inside and outside the science museum to understand in-depth the cause of the AHP survey results and how to improve the evaluation system.
First of all, the AHP analysis results for staff of the science museum showed a significant difference compared to the current evaluation indexes. Unlike the current evaluation indexes with the highest proportion of ''unique business performance'', they think that ''Organizational management'', ''institutional leader''s leadership and strategy'', and ''unique business performance'' are important in order. And indexes perceived as insignificant were in the order of ''appropriateness of unique business performance evaluation'' and ''performance and feedback''. In the in-depth interview, internal experts generally agreed on the importance of the AHP analysis results rather than the importance of the current evaluation indexes because it reflected the current realistic institutional characteristics of the National Science Museum. It is pointed out that ''unique business performance'' is important in principle, but other evaluation factors such as ''institutional leader''s leadership and strategy'' and ''Organizational management'' may be more important as prerequisites for being well evaluated for ''unique business performance''.
Second, looking at the AHP results by institution, employees of the two science museums showed a significant difference in their perceptions of the importance of ''institutional leader''s leadership and strategy'' and ''Organizational management'' indexes. It was considered that the history of the institution, major roles and directions or characteristics, experience and competence of the organization members, and the position and term of the institution head affect the difference in perception of importance between institutions. In other words, it was considered that members of institutions with a short history and a long average term of office of institutions would perceive ''institutional leader''s leadership and strategy'' more important than ''Organizational management'' compared to other institutions.
Third, the overall opinions of internal and external experts on the AHP analysis results agreed on the importance of the AHP analysis results rather than the importance of the current indexes. However, external experts found it difficult to fully agree. The main functions of the science museum expected from the outside may differ from the internal opinions of the scientific museum, which reveals its own characteristics or operates according to the purpose of the Executive Agency (emphasizing autonomy). because they think it is also important to fully consider the main functions of the science museum expected from the outside. External experts recognized the importance of ''institutional leader''s leadership and strategy'' and ''unique business performance'' to a similar level, followed by ''Organizational management''
Lastly, both internal and external experts recognized that improvement was necessary because the evaluation methods and indexes of Executive Agencies were uniformly composed. The main improvement directions of the evaluation system for science museums, as a kind of Executive Agencies could be shaped through the results of this study, are as follows.
First, unlike the current evaluation index set by the Ministry of the Interior and Safety, it is necessary to improve indexes such as expanding the proportion of ''institutional leader''s leadership and strategy'' that employees and outside experts recognize as high importance, and reducing the proportion of evaluation or boldly integrating similar indexes such as ''appropriateness of unique business performance evaluation''. Second, when looking at the results of the in-depth interview, the current evaluation system is uniformly composed, so it does not reflect the characteristics of the institution to be evaluated. Therefore, it is necessary to change the evaluation elements in a direction that reflects the characteristics of the institution. Specifically, it is necessary to divide institutions to be evaluated by type and evaluate them according to common evaluation factors, while setting specialized evaluation indexes separately from other types of Executive Agencies such as hospitals and research institutes. In addition, it is possible to consider conducting an absolute evaluation that avoids relative comparison with other types of institutions.
Unlike previous studies that only criticized the evaluation system, this study presented the improvement direction of evaluation indexes and the evaluation system from the perspective of experts belonging to the institution to be evaluated. In addition, unlike research on government agencies, public institutions, and other Executive Agencies, it is a study on science museums, which have not been found in previous studies, and in particular, it seems to be differentiated because it is a study that considers the insider''s perspective. Unlike previous studies, which are studies on the perception of internal members, the opinions of external experts with experience in evaluating Executive Agencies were analyzed and reflected in depth. Therefore, it was possible to derive an improvement direction that enriched the research results and reinforced objectivity and validity.

[key words: Executive Agency, Executive Agency evaluation system, Science museum, Perception of evaluation indexes, Analytic Hierarchy Process(AHP), In-depth interview]