본 연구는 위계적 속성을 지닌 자료에서 경향점수를 활용한 처치효과를 추정할 때 경향점수 추정 모형과 경향점수 활용 방법의 설정이 처치효과 추정에 어떠한 영향을 미치는지를 확인하는 데 목적이 있다. 특히 교육 자료는 학생이 학교에 내재된 구조로 동일 학교에 속한 학생들은 학교 고유의 교과과정, 교수방법, 학교 분위기 등을 공유하게 된다. 따라서 연구의 타당성을 확보하기 위해서는 개별 학생이 지닌 특성과 학생이 속한 학교의 위계적 특성을 함께 반영한 연구 방법 및 분석이 이루어져야한다. 이에 본 연구는 학생을 하위수준인 1수준, 학교를 상위수준인 2수준으로 갖는 2수준 다층 구조 자료를 활용하여 연구를 수행하였다. 구체적으로는 2수준 다층 구조의 자료에서 1수준인 학생수준에서 처치가 발생한 경우와 2수준인 학교수준에서 처치가 발생한 경우로 구분하여 모의실험 연구와 실제자료 분석 연구를 수행하였다.
첫 번째 연구는 1수준인 학생수준에서 처치가 발생한 경우로 경향점수 추정 모형과 공변인 설정 조건에 따라 처치효과 추정치의 양호도를 비교하였다. 첫 번째 연구는 역 확률 가중치 방법을 활용하였으며 모의자료 생성을 위한 조건으로는 처치-통제집단 사례수의 비율(1:3, 1:1), 집단 수(50, 100)와 집단 크기(20, 40, 50)를 고려하였고 생성된 모의자료를 경향점수 추정 모형(로지스틱 모형, 다층로지스틱 모형)과 공변인 설정 조건(처치변수와 결과변수와의 연관성 정도에 따라 7가지)에 따라 분석하였다.
두 번째 연구는 2수준인 학교수준에서 처치가 발생한 경우에 세 가지 경향점수 활용 방법에 따른 처치효과 추정치의 양호도를 분석하였다. 모의실험 연구를 위해 처치-통제집단 사례수의 비율(1:3, 1:1), 집단 수(50, 100)와 집단 크기(20, 40, 50)를 모의자료 생성 조건으로 고려하였으며 세 가지 경향점수 활용 방법(2단계 대응?가중치 결합 방법, 역 확률 가중치, 대응)으로 분석을 실시하였다.
이와 같은 두 가지 모의실험 연구의 모의실험 조건에 따른 처치효과 추정치의 양호도를 평가하기 위해서 표준화 차이 계수, 처치효과 추정치의 상대적 편의, 평균제곱오차, 상대적 표준오차, 표준오차의 상대적 편의를 평가 준거로 활용하였다.
첫 번째 연구인 학생수준에서 처치가 발생한 경우, 경향점수 추정 모형과 공변인 설정 조건에 따라 처치효과 추정치의 양호도를 비교한 연구의 주요 연구결과는 다음과 같다. 2수준 다층 구조의 자료에서 경향점수 추정 모형과 관련하여 로지스틱 모형보다는 다층로지스틱 모형의 처치효과 추정치의 상대적 편의가 작게 나타났다. 또한 다른 조건이 동일하다고 가정할 때 로지스틱 모형보다는 다층로지스틱 모형에서의 평균제곱오차 값이 작은 것으로 나타났으며 상대적 표준오차의 추정 결과에서도 다층로지스틱 모형이 로지스틱 모형보다 효율성이 높음을 확인 할 수 있었다.
경향점수 추정을 위한 공변인 설정 조건에 대해서는 처치변수와 관련된 변인을 공변인으로 설정하였을 때 다른 공변인 설정 조건들에 비해 표준화 차이 계수, 상대적 편의, 평균제곱오차 값이 상대적으로 크게 나타났다. 반면, 처치와 결과변수 모두 관련된 변인을 공변인으로 설정하였을 때는 처치효과 추정치의 상대적 편의가 발생하지 않았으며 상대적으로 평균제곱오차가 작은 수준으로 나타났다.
이와 함께 처치-통제집단 사례 수 비율 조건에 대해서는 처치-통제집단 사례 수의 비율이 1:3인 조건보다 1:1인 조건에서 표준화 차이 계수와 평균제곱오차 값이 상대적으로 작아짐을 확인할 수 있었다. 이와 같은 결과는 역 확률 가중치 방법을 활용한 연구에서 처치-통제집단 사례 수의 비율이 1:3인 경우 보다 1:1인 경우에 처치효과 추정치가 일관되고 정확하게 추정됨을 나타내는 결과로 볼 수 있다.
두 번째 연구인 학교수준에서 처치가 발생한 경우, 세 가지 경향점수 활용 방법에 따른 처치효과 추정 결과를 분석한 연구의 주요 결과는 다음과 같다. 2수준 다층 구조의 자료에서 상위수준인 학교수준에서 처치가 발생한 경우 이러한 자료의 구조를 반영한 2단계 대응?가중치 결합 방법이 보편적으로 사용되고 있는 역 확률 가중치 방법, 대응 방법에 비해 표준화 차이계수가 상대적으로 작은 것으로 나타났다. 또한 평균제곱오차 값도 2단계 대응?가중치 결합 방법이 다른 두 경향점수 활용 방법보다 상대적으로 작음을 확인 할 수 있었으며 상대적 표준오차의 결과에서도 세 가지 경향점수 활용 방법 중 2단계 대응?가중치 결합 방법이 역 확률 가중치 방법과 대응 방법에 비해 효율성이 높음을 확인할 수 있었다.

The purpose of this thesis was to investigate the impact of the propensity score estimation model and the implementation of propensity score method on the estimation of treatment effects, when the treatment effects were estimated using propensity scores for hierarchical data structure. In the educational field, students were nested in their school, in the sense that students from a school imbue the curriculum, teaching methods, and atmosphere of that school. Therefore, in order to ensure validity, research methodologies and analyses must reflect the characteristics of individual students and the hierarchical traits of the school to which they belong. In response to this need, the current thesis set the students as the lower level (level 1), and their school as the higher level (level 2), to establish multilevel data structure with two levels. More specifically, this thesis distinguished studies in which treatment occurred at the student level (level 1) and those in which treatment occurred at the school level (level 2) in this multilevel data structure. This thesis employed a real data analysis and a simulation study.
The first study was that in which treatment occurred at the student level (level 1); the quality of the treatment effect estimation was compared, based on the propensity score estimation model and selection of covariates. In the first study, inverse probability of treatment weighting method was utilized, and as a conditions for generating simulation data, this considered the ratios of treatment-control group members (1:3 and 1:1), the number of groups (50 and 100), and the average group sizes (20, 40 and 50). The generated simulation data were analyzed based on the propensity score estimation model (logistic regression model and multilevel logistic regression model) and selection of covariates (seven types of covariates with different relationships with the treatment assignment and/or outcome variable).
The second study was conducted for treatments occurring at the school level (level 2) to analyze the quality of treatment effect estimations for the three implementation of propensity score methods. For this simulation study, the ratios of treatment-control group members (1:3 and 1:1), the number of groups (50 and 100), and the average group sizes (20, 40 and 50) were considered as the simulation data generation conditions. The generated simulation data were analyzed based on the three implementation of propensity score methods (two-stage matching/weighting combination method, inverse probability of treatment weighting method, and matching method).
To assess the quality of treatment effect estimation based on the conditions of the two simulation studies, evaluation criteria such as the standardized mean difference, relative bias of treatment effect estimation, mean squared error, relative standard error, and relative bias of standard error were used.
In the first study, where treatment occurred at the student level (level 1), the quality of the treatment effect estimation was compared, based on the propensity score estimation model and selection of covariates. The relative bias of the treatment effect estimation was smaller in the multilevel logistic regression model than in other logistic regression model, in relation to the propensity score estimation model in the two level multilevel data structure. Furthermore, assuming all other conditions were constant, the mean squared error in the multilevel regression logistic model was smaller than in the logistic regression model. In the estimation of the relative standard error, the efficiency was higher in the multilevel logistic regression model than in the logistic regression model as well.
In terms of the selection of covariates to estimate the propensity score, the standardized mean difference, relative bias, and mean squared error were larger when variables related to the treatment assignment were set as covariates, compared to cases with other selection of covariates. In contrast, no substantial relative bias was found in the treatment effect estimation when variables related to both the treatment assignment and outcome variables were set as the covariates. The mean squared error was relatively small.
Also, as for the condition regarding the ratio of treatment-control group members, the condition in which that ratio was 1:1 had a smaller standardized mean difference and mean squared error than the one in which the ratio was 1:3. These results indicated that the treatment effect estimation was more consistent and accurate when the ratio of treatment-control group members was 1:1 than when it was 1:3, in research utilizing the inverse probability of treatment weighting method.
The results of the second study, in which treatment occurred at the school level (level 2) and the treatment effect estimation was obtained through three implementation of propensity score method, were as follows: When treatment occurred at the school level, the standardized mean difference was relatively smaller in two-stage matching/weighting combination method, compared to the more commonly used inverse probability of treatment weighting method and matching method. Further, the mean squared error was smaller in the two-stage matching/weighting combination method than in the two other methods. As for the relative standard error results, the two-stage matching/weighting combination method also had a higher efficiency than the inverse probability of treatment weighting method and matching method.