무기체계를 개발하는 과정에서 소요군이 작전임무를 수행하기 위해 필요한 장비들에 대해 상대적우위나 요구되는 수준의 성능을 갖추었는가를 검증하는 시험평가는 전장승리냐 패배냐는 결정론적인 역할을 한다고 볼 수가 있다. 결정적인 시기와 장소에서 적보다 우위의 무기체계 능력이 발휘되기 위해서는 이에 대한 검증과 확인이 제대로 되어야만 운용자가 사전에 인지하고 신뢰성있는 전투력의 기능이 투사가 될 수 있기 때문이다.
현대의 무기체계는 국방과학기술의 발전으로 인해 첨단화, 복합화, 정밀화 등의 개발속성을 갖고 설계 및 제작되면서 시험평가의 검증수준도 병행해서 다차원적으로 높고, 넓게 요구되고 있는 실정이다.
따라서 우수한 무기체계를 개발하기 위해서는 소요군이 설정한 성능기준에 대해 수준높고 고도화된 시험평가를 실시하기 위해서는 주요핵심이고, 주요수단으로 구현되는 시험평가 항목을 보다 효과적으로 도출하고 수립하는 체계적인 과정이 필요할 것으로 판단된다.
그런데 우리는 시험평가 계획을 수립하는 과정에서 평가항목과 관련해서는 별도의 수립 및 적용절차는 없는 상태이며, 소요결정시 선정된 ROC(작전운용성능) 등 사용자 요구사항을 위주로 하여 구체화하고 있는 실정이다.
몇 년간의 시험평가 업무를 수행하면서 평가항목을 수립할 때마다 어디에서부터 시작을 해야하고, 어떻게 범위설정을 해야 하는가에 대한 의문이 내재되어 있으면서 보다 표준화된 설정기법이 필요하다고 인식을 했다. 또한 시험평가는 소요군이 요구하는 무기체계 개발수준에 대한 검증을 하는 것이기 때문에 평가항목도 요구사항으로 이해를 해야하고, 이를 위해 보다 체계적이고, 과학적인 방법론의 적용이 되어야 할 것으로 판단을 했다.
그래서 제품개발시 고객의 다양한 목소리를 취합하고 반영하는 기법인 QFD(품질기능전개)를 적용하여 시험평가 항목을 효과적으로 도출하고자 하였으며, 현재 연구개발과정중에 있는 000mm자주박격포사업(A사업)을 실증사례로 제시하여 연구의 의미를 더욱 부각시켰다.
이를 위해 시험평가 및 QFD, 그리고 평가항목 등에 대한 국내외 문헌사례를 충실히 조사하여 연구의 기반을 안정적으로 유지하고자 하였다. 그런데 국내 문헌연구 결과는 대부분 정책적인 주제를 취급하여 실무자의 업무현장에서 활용할 만한 내용은 부족한 현실이었으며, 시험평가 항목이나 QFD도구를 적용한 시험평가와 연관된 연구는 거의 없는 실정이었다.
시험평가 항목이 수립되는 과정을 선행연구, 탐색개발, 체계개발단계로 하여 실제 시험평가 사례를 제시하면서 분석을 하였다. 그 결과로 개발체계 성능검증을 위한 추가항목선정이 미흡하고, 불명확 및 애매성 등의 표현내용이 기술되어 있다. 그리고 시험평가 항목이 요구사항으로써 구비조건이 부족하며, 여러 사업에 공통적으로 적용할 수 있도록 표준화 및 객관화된 시험평가 항목의 도출방법 등이 제한사항으로 나타났다.
A사업은 국방개혁으로 전장지역이 확대되면서 기동부대의 효과적인 화력 지원 및 사거리를 증대시키고, 자동화된 사격통제 및 지휘체계를 구축하기 위해 노후화된 자주박격포에 대한 대체전력으로 개발이 제기되었다.
A사업에 대한 실증연구를 실시하는데 사업추진기본전략의 WBS를 확인하고, 시스템 요구사항을 WBS로 재배열하며, 요구사항을 구체화하고, HOQ(품질의 집)를 작성 및 완성하는 단계로 진행하면서 정성적인 분석에 중점을 두었다. 그리고 시험평가와 개발체계 전문가그룹을 각각 선정하여 정량적인 부분에 대해 객관화를 위해 관련된 의견을 수렴하였다.
WBS는 설계 및 제작에만 주로 활용을 하는 것으로 인식하고 있으나, 앞으로는 소요군이 시험평가 기법을 발전시키는데 많은 적용이 필요하다.
실증연구 결과 WBS형태로 시스템 요구사항을 재배열하면서 개발체계의 필요한 성능을 구조적으로 확인하였으며, 탐색 및 체계개발단계에서 추가성능을 도출하고, 기술적 특성 및 성능간 상관관계를 밝혀주는 HOQ를 작성하였다. HOQ작성 결과 우선순위가 높은 중량은 개발간에 중점요소로 관리하여 목표치를 초과하지 않도록 관심이 필요하였다.
그리고 HOQ의 작성된 내용은 세부시험평가 요소로 포함이 되도록 하였으며, 중요도 및 우선순위는 시험평가 항목을 연계성있게 조합하거나 구성하여 효과적인 성능검증이 되는데 활용하도록 하였다.
이와 같이 A사업의 시험평가 분야에 QFD를 적용하여 여러 유용성있는 결과를 얻게 되었으며, 시험평가 항목을 체계적으로 도출하고, 개발체계와 연계성을 유지하면서 세부평가요소를 산출하는데 의미를 갖게 되었다. 또한 시험평가 수준이 고도화되고 신뢰성을 향상시키는 계기가 될 것이며, SE 프로세스와 연계되어 적용이 가능할 것으로 판단된다.
앞으로 본 연구의 한계를 보완하고, 소요군의 요구수준을 충족하며, 개발장비의 성능을 효율적으로 검증할 수 있도록 하기 위해 시험평가 분야에서 활발한 후속연구를 기대한다.

In the course of developing the weapon system, the test & evaluation that verifies whether the group has the relative superiority or the required level of performance for the equipment required to perform the operational mission can be seen as a deterministic role in victory or defeat of the battlefield have. In order to be able to demonstrate superior weapon system capability at a crucial time and place, it is necessary for the operator to verify and confirm it beforehand, so that the function of the perceived and reliable combat power can be projected.
And modern weapon systems are designed and manufactured with development attributes such as state of the art, complexity, and accuracy, and the level of verification of test & evaluation is also highly demanded in a multidimensional manner.
Therefore, in order to develop advanced weapon systems, a systematic process is needed to effectively derive and establish the evaluation items that are the main core and the main means of conducting the test & evaluation on the performance standards set by the military.
However, in the process of establishing the test & evaluation plan, there is no separate establishment and application procedure related to the evaluation items, and it is actualizing the user requirements such as the selected ROC(Required Operational Capability) in the requirement decision.
In the course of conducting several years of test & evaluation, questions were asked as to where to start and how to set the scope of each evaluation item, and it was recognized that a more standardized setting technique was necessary. Also, since the test & evaluation is to verify the development level of the weapons system required by the military, it is necessary to understand the evaluation items as requirements and to apply more systematic and scientific methodology to this.
Therefore, we tried to derive test items by applying QFD(Quality Function Development), which is a technique that collects and reflects various voices of customers during product development. We also applied the 000mm self-propelled mortar project(A project). And the significance of the study was further highlighted.
I tried to maintain the foundation of the research steadily by thoroughly examining domestic and foreign literature cases on the test & evaluation, QFD, and evaluation items. However, the results of the domestic literature were mostly lacking enough contents to be used in the workplace of the practitioners, and there were few studies related to the test & evaluation items and the test & evaluation using the QFD tool.
The process of establishing test & evaluation items was analyzed by presenting actual test & evaluation results as prior research, exploratory development, and system development stage. As a result, the selection of additional items to verify the performance of the development system is insufficient, and the test & evaluation items are insufficient, and standardization and the method of deriving the objectified test items are poor.
A project was developed as an alternative power source for aging mortar to increase the effective firepower support and range of the troops, and to establish automated fire control and command system as the battlefield area expanded due to defense reform.
A project is carried out by confirming the WBS of the basic strategy of the project, rearranging the system requirements into the WBS, specifying the requirements, and preparing and completing the HOQ(House Of Quality) focusing on analysis. Expert group of test & evaluation and development system were selected and opinions were collected to objectify quantitative part.
Although WBS recognizes that it is mainly used for design and production, it needs to be applied to develop the test & evaluation technique in the future.
As a result of the empirical study, the required performance of the development system was structurally confirmed by rearranging the system requirements in the form of WBS. And additional performance was obtained at the search and system development stage, and the HOQ which revealed the correlation between technical characteristics and performance was created. As a result of creating HOQ, weights were needed to ensure that the high priority weight was managed as a key factor in development and not to exceed the target value.
In addition, the content of the HOQ is included as a detailed test & evaluation factor, and the importance and priority of the HOQ are used for effective performance verification by linking or composing the test & evaluation items.
In this way, QFD was applied to the test & evaluation field of A project, and various useful results were obtained. It was meaningful to systematically derive the test & evaluation items and to calculate the detailed evaluation factors while maintaining the connection with the development system. In addition, it will be an opportunity to enhance the test & evaluation level and improve the reliability, and it can be applied in connection with the SE process.
In order to complement the limitations of this study, to meet the requirement level of the operational forces and to verify the performance of development system efficiently, I expect active follow-up studies in the field of test & evaluation.