Skip Navigation
Skip to contents

JEEHP : Journal of Educational Evaluation for Health Professions

OPEN ACCESS
SEARCH
Search

Articles

Page Path
HOME > J Educ Eval Health Prof > Volume 2(1); 2005 > Article
ORIGINAL ARTICLE
Construct Validity of the Korean Dental Licensing Examination using Confirmatory Factor Analysis
Mi Kyoung Yim, Yoon Hee Kim

DOI: https://doi.org/10.3352/jeehp.2005.2.1.75
Published online: June 30, 2005
책임저자 : 임미경   한국보건의료인국가시험원   책임연구원   우)138-878 서울시 송파구 풍납2동 389-1 한국보건의료인국가시험원 연구개발실   Tel: 02-476-4004   Fax: 02-476-4422   E-mail: mkyim@kuksiwon.or.kr

: 

• Received: May 3, 2005   • Accepted: May 20, 2005

© 2005, National Health Personnel Licensing Examination Board of the Republic of Korea

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

prev next
  • 34,801 Views
  • 164 Download
  • Confirmatory factor analysis based on a measurement model of a structural equation model was used to test the construct validity of 13 subjects in the Korean Dental Licensing Examination (KDLE). The results of 1,086 examinees who wrote the KDLE in 2004 were analyzed. The thirteen subjects were classified into 62 major categories and 122 intermediate categories. There were 364 items. A hierarchical model was constructed, including major and intermediate categories. The impact of the variables was determined by the standardized regression coefficient that related latent and measured variables in the measurement model. The KDLE showed a high goodness-of-fit with a root mean square error of approximation of 0.030 and a non-normed fit index of 0.998. When the latent variables for the major and intermediate categories were analyzed, the standardized regression coefficients of all of the subjects, with the exception of Health and Medical Legislation, were significant. From the result, we concluded that the 13 subjects showed constructive validity. In addition, the study model and data were very compatible. The subject Health and Medical Legislation had a low explanatory impact with respect to testing the ability of dentists to perform their jobs. This study suggests that similar psychometric studies are needed before integrating or deleting subjects on the KDLE, and to improve item development.
치과의사국가시험은 신규 치과의사의 직무를 수행할 수 있는 능력을 측정하는 시험으로서 치과의사가 되기에 필요한 일정 수준 이상의 지식과 기술을 갖추었는지를 평가하여 치과의사로서의 자격을 부여하고 있다. 한 국보건의료인국가시험원(이하 국시원)에서는 신규 치과의사로서 요구되는 기본직무와 현장에서의 문제해결 능력과 종합적 사고력 등을 보다 효율적이며 타당성 있게 평가하기 위하여 문항개발 및 문항분석, 그리고 시험과목 내용 조정 등을 통해 자격시험으로서의 타당도를 높이기 위한 노력을 계속적으로 하고 있다. 그러나 더 나아가 현재의 국가시험이 효과적으로 기본직무를 평가하고 있는지 검토해야 하는 과정이 요구된다. 즉 검사문항과 검사구성요인과의 관계를 분석함으로써 국가시험과목이 구인으로써 타당한지를 평가해야 하는 것이다.
구인(construct)은 직접적으로 측정하거나 관찰할 수 없는 심리적 특성을 이론적으로 개념화한 것으로, 구인 타당도란 주어진 검사가 이론과 관련하여 어떤 구인 또는 개념을 측정하고 있느냐와 그 정도에 관한 정보를 의미한다[1]. 따라서 모든 검사의 측정에 있어서 구인을 타당화하는 과정은 매우 중요하다고 할 수 있다. 이론에 근거하여 검사를 만들어 측정할 수 없는 속성을 간접 측정하여, 그 검사결과가 재고자 의도한 속성을 잘 측정하고 있다면 그 구인이 타당화되었다고 보며, 검사 후 피험자의 응답을 통해 이를 확인하는 과정을 거쳐야만 한다.
그러나 검사에서 구인의 타당화과정은 일시적인 자료의 분석이나 혹은 하나의 지수로 나타내지는 것이 아니다. 검사의 내적인 구조와 함께 그 검사를 둘러싸고 있는 여러 가지 다른 검사들과의 관계의 분석을 통해서 가능하다. 이에 구조방정식 모형은 직접적으로 측정할 수 없는 잠재변인들의 복잡한 인과적 관계성을 검증하고 각 잠재 변인을 측정하는 여러 관찰 변인들이 얼마나 잠재변인을 적절히 측정하고 있는지를 파악할 수 있는 강력한 통계 방법으로, 관찰되지 않는 잠재적인 요인들의 인과적 관계를 검증함으로 모형의 적합성 검정을 통하여 구인의 타당성을 확인할 수 있다[2].
치과의사국가시험에서 요구하는 일정 수준 이상의 지식과 기술은 학문중심의 교과목으로 구성되어 있으며 전공영역별로 반드시 알아야 한다고 인정되는 내용을 문항으로 출제한다. 그러나 한편, 이렇게 학문중심의 시험과목으로 구성된 검사가 해당 직종에서 요구되는 기본직무와 현장에서의 문제해결능력 등을 검증하고 평가하는 것은 어렵다고 판단하고, 종합적인 해결능력을 평가하기 위해 간학문적인 문제를 출제하기 위한 노력도 계속해왔다. 이와 같은 이유로 현재 국가시험이 과목을 구인으로 간주할 때 구인타당도를 갖추고 있으며, 과목이 시험을 구성하는 구인으로서 그 역할을 잘 하고 있는지를 검증하는 일은 현재의 국가시험 출제기준과 국가시험과목을 유지하거나 통합하는 등의 의사결정에 앞서 필수적으로 검증되어야 할 과정이기도 하다.
이 연구에서는 각 문항들이 해당 영역을 충실히 측정하고 있는가를 구조방정식 모형을 이용한 확인적 요인 분석을 시행하여, 자료구조를 모형으로 도식화함으로 각 구인(또는 요인, 과목)간의 영향력의 크기와 방향을 나타내어 현재의 시험과목 구성의 타당성을 평가하고자 한다.
2004년 시행된 제56회 치과의사 국가시험을 연구재료로 하여, 결시자를 제외한 1,086명의 응답 데이타를 사용하였다. 치과의사 국가시험은 구강내과학, 치과교정학, 구강병리학, 구강생물학, 치과보철학, 소아치과학, 구강악안면방사선학, 치주과학, 구강보건학, 치과재료학, 보건의학관계법규로 총 13개 과목으로 그 내용영역을 나누어 출제하며 각 과목은 62개의 분야(large category)와 122개의 영역(middle category)으로 분류되며, 전체 364문항으로 구성되어 있다<Table1>. 분야 및 영역은 현재 한국보건의료시험원에서 사용되고 있는 출제기준상의 분류로서 그 명칭은 공개하지 않는다.
13개 과목으로 구성된 치과의사 국가시험에서 측정하고 있는 각 과목별 지식의 내용은 다음과 같다.
  • ① 구강내과학 (Oral Medicine): 전신 및 국소적 원인에 의해 발생한 구강 및 악안면의 질환을 종합적으로 진찰하여 정확한 진단을 함으로써 합리적이고 적절한 치료계획을 수립하고 환자와의 상담을 통해 환자가 양질의 치과 치료를 받을 수 있도록 하는 분야[3],[4]

  • ② 치과교정학(Orthodontics): 얼굴의 형태를 따라 치아의 배열을 가지런히 해주어 위아랫니가 잘 맞물리게 하여, 입의 모양을 바로 잡아주고 동시에 음식물을 잘 씹을 수 있도록 하여 주는 것을 목적으로 하는 분야[5]

  • ③ 구강병리학(Oral and Maxillofacial Pathology): 구강 내와 구강주변부 구조물에 발생하는 질환들에 대하여 임상적으로 진단하여, 치료하며 예후를 개선 치료하는데 도움을 주기 위한 병리학적 진단을 위한 분야[6]

  • ④ 구강생물학(Oral Biology): 세균, 진균, 바이러스의 일반적 특징과 각 미생물과 관련된 질환을 공부하여, 미생물학적 질환의 진단 및 치료에 응용하기 위한 분야[7]

  • ⑤ 치과보철학(Prosthodontics ): 소실된 치아와 그 주위조직을 인공적인 대체물로서 회복하여서 환자의 기능, 심미, 편안함을 부여함으로서 건강한 생활을 영위할 수 있게 하는 분야[8]

  • ⑥ 소아치과학(Pediatric Dentistry): 출생직후부터 유아, 소아 및 청소년기(0~17세)의 신체적, 정신적, 정서적으로 구강의 성장발육의 문제점을 조기에 발견하여 예방 및 치료하는 분야[9],[10]

  • ⑦ 구강악안면방사선학 (Oral and Maxillofacial Radiology): 구강악안면 영역에 발생한 질환의 진단과 치료계획의 수립에 있어, 질환의 상태를 정확히 알기 위해 치아나 뼈 같은 경조직을 방사선사진 촬영하는데 도움이 되는 분야[11]

  • ⑧ 치주과학(Periodontology): 치아 주위 조직과 여기에 발생하는 병변을 연구하여, 그 치료 및 예방을 목적으로 하는 진료 분야[12]

  • ⑨ 구강악안면외과학 (Oral and Maxillodacial Surgery): 구강악안면외과란 입(구강), 턱(악), 얼굴(안면) 부위의 여러 가지 질병, 외상 그리고 선천적 또는 후천적 기형을 진단하고 치료하는 치과-외과학 분야[13]

  • ⑩ 치과보존학(Conservative Dentistry): 충치 및 기타 여러 가지 이유로 손상을 받은 치아를, 발치하지 않고 보존하여 사용할 수 있도록 하며, 되도록 치아를 적게 삭제 하면서 심미적인 효과를 극대화 시킬 수 있도록 하기 위한 치료를 위한 분야[14]

  • ⑪ 구강보건학(Preventive and Public Health Dentistry): 치아질환, 치주질환, 부정교합, 구강암 및 악관절질환의 예방책과 집단구강보건의 원칙을 이해하여 지역사회의 구강보건 관리시 응용할 수 있도록 하는 분야[15]

  • ⑫ 치과재료학(Dental Materials): 각종 치과재료의 물리적, 화학적, 생물학적 성질 즉, 재료의 stress & strain, hardness, biologic consideration, gypsum product, inlay wax, impression compound, ZOE paste, reversible hydrocolloid, alginate, rubber impression material, ZPC, ZOE Cement, glass ionomer cement에 관한 이해를 높이고 과학적 사고방식을 확대하기 위한 분야[16],[17]

  • ⑬ 보건의학 관계법규(Health Medical Legislation): 국민보건과 의료에 관하여 필요한 사항을 규정함으로써 의료의 적정을 기하여 국민건강의 보호증진을 위한 법규를 그 내용으로 함[18]

치과의사 국가시험은 위에서 설명된 13개 과목으로 신규 치과의사로서 필요한 능력을 평가하고, 그 결과에 따라 자격을 부여하고 있다. 이것은 이미 내용전문가들에 의해 치과의사 자격시험에 필요한 평가내용(지식 또는 기술)으로 분류되어 시행되고 있으므로 이 시험에서의 점수는 치과의사의 직무수행 능력을 반영하는 것으로 본다. 따라서 13개 과목을 “치과의사 국가시험에서 직무능력”을 측정하는 구인으로 명명하고, 각 구인을 측정요인으로 하는 구조방정식 모형을 설정하였다. 설정된 모형 검증을 통해 구인타당성을 확인하며, 각 측정 요인의 상대적 영향력을 분석하였다.
구조방정식 모형은 경로분석, 회귀분석, 요인분석이 복합된 일반선형모형으로, 구조방정식 모형을 통하여 규명하기 어려운 잠재요인간의 관계를 설명할 수 있다. 그러나 이 연구에서는 치과의사 직무수행능력이라는 한개의 잠재요인을 규명하기 위한 하나의 측정모형으로 설정되었으며, 또한 각 하위분야와 영역간의 관계를 설명하기 위하여 “분야/영역”을 측정변수로 하여 모형을 설정하였다. 따라서 설정된 모형의 타당성을 검증하여 현재의 치과의사 국가시험 과목이 치과의사 직무수행능력을 측정하는데 구성요인으로서 타당한가를 평가하였다.
구조방정식 모형의 측정모형에 기초하여 확인적 요인분석을 실시하여 치과의사 국가시험을 구성하고 있는 13개 과목들의 구인으로써의 타당성을 검증하였다. 치과의사 국가시험의 13개 과목과, 출제기준의 과목하위 분야와 영역을 그 구성으로 하여 모형[Fig.1, Fig.2]을 설정하여 변인간의 영향력을 표준화된 회귀계수를 통하여 판단하였다[19].
그러나 모형의 계수를 산출하기 위해서는 적어도 3개 이상의 측정변수를 가지고 있어야 한다는 제약으로, 하위분야가 2개인 치과보존학과목과 치과재료학과목은 모형의 계수를 산출하기 위해서 분야 아래의 영역을 측정변수로 설정하여 모형[Fig. 3]을 설정하였다.
AMOS 4.0 프로그램을 이용하여, 13개 과목을 측정 변수로 1회, 과목별 하위 분야를 측정변수로 과목별로 12회 분석하였다. 각 분석을 통하여 치과의사 국가시험에 미치는 과목간 영향력을 비교하고, 각 과목 하위 출제기준의 구성력을 알아보았다. 전체 모형의 적합도와 측정변수의 잠재변수에 대한 영향력의 크기를 통하여 유의한 설명력을 보이는 과목과 하위 분야를 평가하였으며, 또한 치과의사 직무수행능력을 측정하는데 있어 상대적으로 그 기여도가 낮은 과목과 하위분야 등을 평가하였다.
전체 모형의 적합도를 평가하기 위하여 x2의 값과 확률값을 사용하였다. 그러나 x2값이 모형의 적합도를 판단하는 유일한 자료는 아니며, 또한 x2검증이 표본크기에 영향을 받는다는 문제점을 가지고 있기 때문에, 표본의 크기에 영향을 받지 않는 지수인 평균제곱오차제곱근(Root Mean Square Error of Approximation : RMSEA)과 비표준화적합지수(Non-Normed Fit Index : NNFI)를 함께 사용하여 모형의 적합도를 평가하였다[19, 20].
제 56회 치과의사 국가시험의 과목들의 특징과 관련성을 파악하기 위하여 기초분석을 시행하였다. 분석 결과, 치과의사 국가시험의 평균점수는 256.67점이며, 편차는 39.53으로 전체 점수분포는 부적편포를 이루고 있으며, 과목별 난이도는 0.61~0.83 사이에, 과목별 변별도는 0.28~0.42 사이로 나타나, 치과의사 국가시험은 중간 정도의 난이도와 변별도를 나타내고 있다 <Table1>.
치과의사 국가시험을 구성하고 있는 13개 과목간 상관 및 과목과 총점간 상관은 보건의학 관계법규 과목과 구강병리학 과목의 상관이 0.39로 가장 낮았으며, 전체 총점과의 상관은 보건의학 관계법규 과목이 가장 낮았으며, 치과보존학 과목의 상관이 가장 높게 나타났다 <Table2>.
각 과목내 문항내적일관성 신뢰도는 전제적으로 비교적 양호하게 나타났으나<Table3>, 검사의 신뢰도는 응시인원에 어느정도 영향을 받았기 때문일 것으로 판단된다.
구조방정식 모형의 측정모형에 기초한 확인적 요인 분석을 시행하여, 치과의사 국가시험을 구성하는 각 과목들의 타당성을 검증한 결과는 <Table4>와 같다. “13개 과목(구인)들이 치과의사 직무수행능력을 측정하고 있다”는 이론모형의 적합도 분석을 위한 x2검증 결과 유의수준 0.05에서 모형이 기각되었다(x2=129.324, p<.001). 그러나모형의 간명성을 고려하는 RMSEA지수와 NNFI지수의 경우, RMSEA는 0.030이 NNFI는 0.998이 산출되었다(Table4. 참조). 이 값들은 이론적인 RMSEA의 수용기준인 0.05보다 작고, NNFI의 수용 기준인 0.09보다는 크게 나와, 모형이 적합하다는 것을 보여주고 있다. 이러한 결과는 각 과목을 치과의사의 직무수행 능력을 측정하는 구인으로 설정한 현재의 모형이 타당하다는 것을 보여준다.
각 과목 즉 구인의 영향력의 크기 분석 결과, 13개 과목의 표준화 회귀계수 값은 유의수준 0.05에서 모두 유의하게 나타났다. 보건의학 관계법규 과목이 다른 과목들에 비하여 상대적으로 낮게 나타났으나, 전체적으로는 회귀계수의 값이 높게 산출되었다. 즉, 구인이 영향력이 크다<Table5>. 따라서 치과의사 국가시험을 구성하고 있는 현재의 13개 과목이 치과직무수행능력을 측정하는 과목(구인)으로 타당하다고 할 수 있다.
각 과목을 잠재요인으로 하고 과목하위 분야의 수준을 측정변수로 하는 모형에 대한 x2검증 결과, 구강병리학, 치과보존학, 구강보건건학을 제외한 모든 과목이 유의수준 0.05에서 모형의 적합성이 기각되었으나, RMSEA지수와 NNFI지수를 살펴보면, 두 지수 모두 타당한 모형적합도 지수값을 보여주고 있다. 그러나 구강내과학, 구강생물학 과목에서는 x2검증 결과뿐만 아니라, RMSEA지수 역시 그 수용기준을 벗어나 적합도가 낮게 나타났다<Table6>.
하위과목 분야와 영역의 잠재요인의 관계를 분석한 결과, 보건의학 관계 법규과목의 분야2를 제외한 나머지 과목의 분야와 영역에서는 유의수준 0.05 수준에서 모두 유의하게 나타났다. 그러나 구강내과학 과목의 분야2와 소아치과학 과목의 분야2, 분야5, 분야9에서, 구강악안면방사선학 과목의 분야4 그리고 치주과학 과목의 분야1과 분야3은 0.4이하로 양호하지 않게 나타났다<Table7>.
과목하위 분야로는 모형을 설정할 수 없었던 치과보존학 과목은 분야1의 5개영역, 분야2의 6개 영역을 측정변수로 하여 모형을 설정하였고, 그 검정 결과는 <Table8>과 같다. 치과보존학 과목의 분야1과 분야2간의 상관은 0.982로서 매우 높게 나타났으며, 각 과목 하위 영역의 표준화 계수 역시 양호하게 산출되었다.
주목할만한 점은 보건의학 관계법규과목은 분야5를 제외한 나머지 분야에서 모두 유의하지 않았다는 것이다. 이러한 결과는 직무수행능력을 평가하는데 있어, 보건의학 관계법규 과목의 설명력이 가장 낮다고 해석할 수 있음을 보여주고 있다. 다시 말해, 현재의 치과의사 국가시험이 신규 치과의사의 직무수행능력을 측정하는데 있어 13개 과목 중 보건의학 관계법규과목이 구인으로서 설명력이 낮다는 것과 더 나아가 과목 내 하위 분야의 구성력 역시 양호하지 않음을 보여주고 있다.
확인적 요인분석으로 국가시험을 구성하는 과목들의 구인타당성을 검증하는 연구는 국가시험의 구성력을 설명하고, 시험의 질을 높일 수 있는 한 방법이 될 수 있다. 치과의사 국가시험 구인타당도 검증 연구 결과, 치과의사의 직무수행능력을 측정하는데 있어, 현재의 13개 과목들이 치과의사 국가시험을 구성하는 것은 타당하게 나타났다. 각 13개 과목의 영향력을 살펴보면, 대부분의 과목들이 .70 이상의 높은 값을 보인 반면 보건 의학 법규과목은 .58로 다른 과목에 비해 구인으로서의 상대적 영향력이 낮게 나타났다.
분석 결과를 개별 과목의 수준에서 보면, 일부과목의 하위분야에서 구성력이 낮은 요인들도 보이나, 출제기준상의 분류는 비교적 양호하게 이루어졌다고 볼 수 있다. 그러나 보건의학 관계 법규과목의 경우 그 구성력이 다른 과목과는 다르게 상대적으로 낮게 나타났음을 알 수 있다. 이러한 결과에 의거하여, 구인들 중 영향력이 낮은 요인들은 내용 검토를 거쳐 수정, 보완하거나 또는 다른 하위분야로 통합시키는 등 조정을 함으로써 더 구성 있는 과목으로 개선함으로써 시험의 질을 향상시킬 수 있으리라 본다.
그러나 이 연구는 구인타당도 면에서 양호한 결과가 산출되었음에도 불구하고, 두 가지 측면에서 제한점을 가지고 있다. 첫째, 문항 분석 결과의 양호도 문제이다. 구조방정식 모형을 이용한 확인적 요인분석을 하기 전 우선적으로 시행된 기초분석에서 각 과목의 평균 난이도와 변별력은 중간 수준으로 나왔으나, 일부 문항은 난이도와 변별력이 낮게 나타났다는 점이다. 변별력은 .3이상의 지수 값을 갖을때 변별력이 높은 문항으로 간주 되는데[21], 치과의사 국가시험의 문항분석 결과, 전체 문항의 34%인 124개 문항의 변별력이 .3이하로 나타났으며, 심지어 변별도가 음수(-)인 문항 역시 비록 1문항이지만 존재하였다. 사실상 문항의 낮은 양호도는 전체 검사의 신뢰도를 감소시키며, 국가시험에서 요구하는 직무능력을 측정하고 있는 타당한 구인을 왜곡할 가능성 역시 존재한다. 공정성과 신뢰성을 필요로 하는 국가 시험에서 가장 바람직한 것은 검사의 구성 시 양질의 문항을 개발하고, 선별하는 것이지만, 이미 구성된 검사에 변별력이 낮은 문항들이 포함되었으며, 차지하는 비율 역시 많기 때문에, 이 연구에서는 문항들을 제외하지 않은 자료를 이용해 타당도 검증 분석을 시행하였다. 시험은 개발단계에서 양질의 문항개발과 선별이 선행되어야 하며, 그 구성 역시 양질의 문항으로 제작해야하는 노력이 요구된다.
또 다른 문제는 한 과목간 상관분석의 결과, 보건의학관계법규과목을 제외한 12개 과목간 상관이 높게 나타났다는 것이다. 실제로 치과의사 국가시험의 개별적인 구인이 되기 위해서는 각 과목간의 상관은 낮고, 각 구인이 설명하고 있는 잠재요인 즉 시험 총점과의 상관은 높아야 한다. 그러나 분석결과, 구인과 잠재요인간의 즉, 각 과목과 전체 시험총점과의 상관뿐만 아니라, 각 과목간의 상관 역시 높게 나타났다. 치과의사 직무수행 능력을 평가하는데 13개 과목들로 구성된 현재의 국가 시험이 타당하다고 입증되었으나, 과목간 상관을 고려한 다른 대안적 적절한 모형을 설정하는 것도 생각할 수 있다. 다시 말해, 과목간 상관이 높게 나타난 과목은 과목간의 관련성이 높다는 것을 의미하므로, 과목간 통합을 시도하여 새로운 과목으로 국가시험에 구성하여, 직무능력을 평가할 수 있으며, 이러한 구성이 직무수행능력을 더 타당하게 측정할 수 있는 가능성이 존재한다는 것이다. 그러나 이 연구에서는 과목간의 상호 관련성이 높다는 분석 결과에도 불구하고 과목을 통합하거나 분리하여 구성할 이론적 근거가 뒷받침되지 않으므로, 현재의 과목을 근거로 모형을 설정한 뒤, 확인적 요인분석을 시행하였다. 그러나 이 연구의 목적은 현재의 치과의사 국가시험 과목구성의 구인타당성을 확인하는 것으로, 연구결과가 본연의 목적에서 벗어난 것은 아니다. 다만, 국가시험의 질을 향상시키기 위한 방안으로, 설정된 연구모형을 내용분석에 따라 모형을 수정한 후, 현재의 과목구성의 타당성 결과와 비교해보는 것을 후속연구로 제안한다. 이 연구결과는 치과의사 직무능력을 평가하는데 있어서 다른 과목과의 연관성이 적은 보건의학 관계 법규과목은 별도의 구인으로, 관련성이 높은 과목들은 조정 및 통합을 하는데 하나의 논리적 근거가 될 수 있을 것이다.
이러한 측정학적인 분석은 시험의 구성력을 가시적으로 확인시켜준다. 그렇지만 분석결과, 모형의 적합성이나 표준화계수의 통계적 유의성 등의 검증 결과가 좋지 않다고 해서, 적합하지 않은 구인이나 요인을 반드시 제거해야 한다는 것을 의미하지는 않는다. 이러한 측정학적인 분석은 이론적인 타당성을 검증하는 경험적인 방법 중 하나일 뿐이며, 그러므로 이러한 적합성을 판단하는 지수들은 모형과 자료와의 합치상태를 판단하기 위한 것이지, 절대적인 의사결정의 기능을 하기 위한 것은 아니라는 것이다[22].
따라서 이 연구를 통하여 시험을 구성하고 있는 과목들이 직무능력을 잘 평가하고 있다고 하는 구인으로서의 타당성을 검증하였으며, 더 나아가 이러한 측정학적 분석결과에 내용전문가의 내용검토를 더하여, 문항, 출제기준, 과목의 구성 등이 검토되고 개선되어야 하는 필요성을 제안하고자 한다. 실제로 시험을 구성하는 구인의 타당성 검토는 시험이나 검사의 제작과정에서 반드시 검토되어야 하는 작업이다. 그러나 측정학적인 분석은 내용전문가들에게 소홀히 여겨졌던 부분으로, 이러한 연구는 내용전문가들에 의한 내용 타당성에만 의지했던 국가시험을 과학적 방법으로 평가해본 시도라는데 그 의의가 있다. 이상의 결과를 통해 현재 시행되고 있는 치과의사 국가시험과목 및 출제기준의 구성력을 알 수 있었으며, 국가시험과목의 조정 및 통합뿐만 아니라, 문항 개선을 위한 평가 자료로 활용될 수 있음을 보여주었다.
치과의사 국가시험 과목 구성에 대한 구인타당도를 검증하기위하여 구조방정식 모형의 측정모형을 이용한 확인적 요인분석을 시행한 결과, 치과의사의 직무수행 능력을 평가하는데 현재의 13개 과목은 유의한 영향력을 갖는 타당한 구인으로 나타났다. 연구모형과 자료가 잘 부합되고 있으며, 각 과목의 영향력 역시 보건의학 관계법규과목을 제외하고는 통계적으로 유의한 결과를 보여주었다. 보건의학 관계법규 과목은 직무수행능력을 평가하는데 있어 그 영향력이 다른 과목에 비해 상대적으로 낮게 나타났으며, 개별 과목의 출제기준의 구인타당성을 검증한 결과에서도 다른 과목에 비하여 구성력이 좋지 못했다. 면허 시험과 같은 국가시험은 그 타당성과 신뢰성이 보장되어야 한다. 따라서 검사를 개발하고자 할 때는, 시험문항뿐만 아니라, 국가시험을 구성하고 있는 과목(구인)에 대한 타당도와 신뢰도를 검증하는 절차가 필요하다. 현재 치러지고 있는 국가시험의 과목이나 출제기준의 개선이나, 수정 보완 시 이러한 검증 절차를 거쳐 개선에 대한 판단을 하고, 의사를 결정하는 것이 필요하다. 이러한 과정을 거쳐 시험을 구성하는데 관련이 없는 구인 즉, 영향력이 없는 과목이나 문항은 수정 또는 보완되는 것이 검사 결과의 타당성을 높이는 길이다. 따라서 내용전문가의 내용분석뿐만 아니라, 측정학적 평가 방법을 활용다면 시험의 타당도와 신뢰도를 향상시키고, 타당한 국가시험을 구성하는 데 도움이 될 것으로 기대한다.
Fig. 1.
Measurement model for the evaluation of dentists’job performance ability.
jeehp-2-1-75-6f1.gif
Fig. 2.
Measurement model for subject
jeehp-2-1-75-6f2.gif
Fig. 3.
Measurement model for large-category
jeehp-2-1-75-6f3.gif
Fig. 4.
Path diagram of Korean Dental Licensing Examination.
jeehp-2-1-75-6f4.gif
Table1.
Subject construct of the Korean Dental Licensing Examination(2004)
Subject Large category middle category No. items Mean of Difficulty indexa) Mean of Discrimination indexa)
1 Oral Medicine 4 11 15 0.70 0.36

2 Orthodontics 3 18 33 0.83 0.38

3 Oral and Maxillofacial Pathology 4 8 15 0.74 0.42

4 Oral Biology 6 - 48 0.53 0.28

5 Prosthodontics 3 28 40 0.77 0.33

6 Pediatric Dentistry 9 - 26 0.75 0.38

7 Oral and Maxillofacial Radiology 5 - 26 0.68 0.37

8 Periodontology 6 26 26 0.64 0.31

9 Oral and Maxillofacial Surgery 3 20 40 0.72 0.31

10 Conservative Dentistry 2 11 40 0.69 0.32

11 Preventive and Public Health Dentistry 4 - 20 0.69 0.34

12 Dental Materials 2 - 15 0.68 0.39

13 Health Medical Legislation 11 - 20 0.61 0.31

Total 62 122 364 0.69 0.35

a) Mean of difficulty index and that of discriminating index may not exactly same with the results publicized by the National Health Personnel Licensing Board of the Republic of Korea since the results of this table is based on the classical test theory.

Table2.
Correlations between each subjects and total score
Subjects Oral Medicine Orthodontics Oral and Maxillofacial pathology Oral biology Prosthodontics Pediatric Dentistry Oral and Maxillodacial Radiology Periodontology Oral and Maxillofacial Surgery Conservative Dentistry Preventive and Public Health Dentistry Dental Materials Health Medical Legislation Total score
Oral Medicine 1.00
Orthodontics 0.62 1.00
Oral and Maxillofacial Pathology 0.58 0.63 1.00
Oral Biology 0.64 0.69 0.63 1.00
Prosthodontics 0.61 0.74 0.61 0.71 1.00
Pediatric Dentistry 0.60 0.72 0.61 0.66 0.72 1.00
Oral and Maxillofacial Radiology 0.61 0.71 0.62 0.69 0.72 0.68 1.00
Periodontology 0.52 0.64 0.57 0.58 0.65 0.60 0.63 1.00
Oral and Maxillofacial Surgery 0.62 0.73 0.63 0.73 0.73 0.69 0.71 0.63 1.00
Conservative Dentistry 0.60 0.73 0.63 0.73 0.74 0.70 0.73 0.64 0.74 1.00
Preventive and Public Health Dentistry 0.51 0.59 0.55 0.59 0.60 0.59 0.61 0.55 0.59 0.59 1.00
Dental Materials 0.59 0.66 0.60 0.66 0.67 0.63 0.64 0.58 0.66 0.67 0.57 1.00
Health Medical Legislation 0.41 0.46 0.39 0.47 0.49 0.45 0.49 0.42 0.47 0.46 0.44 0.44 1.00
Total score 0.74 0.86 0.75 0.86 0.87 0.83 0.85 0.76 0.87 0.88 0.73 0.79 0.59 1.00
Table3.
Reliability of each subjects (Cronbach-α)
Subjects Oral Medicine Orthodontics Oral and Maxillofacial pathology Oral biology Prosthodontics Pediatric Dentistry Oral and Maxillodacial Radiology Periodontology Oral and Maxillofacial Surgery Conservative Dentistry Preventive and Public Health Dentistry Dental Materials Health Medical Legislation
Reliability 0.558 0.778 0.619 0.746 0.778 0.722 0.733 0.575 0.752 0.765 0.571 0.607 0.498
Table4.
Goodness of fit of the model for the evaluation of dentists’ job performance ability
model x2(p) degree of freedom RMSEAa) NNFIb)
Evaluation of Dentists’Job Performance Ability 129.324(.000) 65 0.030 0.998
Acceptance criteria of model p>.05 0.05이하 0.09이상

a) Root Mean Square Error of Approximation

b) Non-Normed Fit Index

Table5.
Standardized regression coefficient of each subjects
Subjects Standardized
regression coefficient
value
Oral Medicine a1 0.729
Orthodontics a2 0.853
Oral and Maxillofacial Pathology a3 0.744
Oral Biology a4 0.830
Prosthodontics a5 0.859
Pediatric Dentistry a6 0.817
Oral and Maxillofacial Radiology a7 0.841
Periodontology a8 0.741
Oral and Maxillofacial Surgery a9 0.853
Conservative Dentistry a10 0.860
Preventive and Public Health Dentistry a11 0.708
Dental Materials a12 0.782
Health Medical Legislation a13 0.558
Table6.
Goodness of fit of the subject model
Subjects x2(p) degree of freedom RMSEA NNFI etc
Oral Medicine 17.976(.000) 2 .086 0.992
Orthodontics - - - - Not calculated a)
Oral and Maxillofacial Pathology 4.648(.098) 2 .035 999
Oral Biology 50.092(.000) 9 .065 0.994
Prosthodontics - - - - Not calculated a)
Pediatric Dentistry 55.502(.001) 27 .031 0.998
Oral and Maxillofacial Radiology 7.068(.000) 5 .020 0.999
Periodontology 27.945(.001) 9 .044 0.997
Oral and Maxillofacial Surgery - - - - Not calculated a)
Conservative Dentistry 65.740(.014) 43 .022 0.999 Analyzed as two
large-categories
Preventive and Public Health Dentistry 1.003(.606) 2 .000 1.000
Dental Materials - - - - Not calculated b)
Health Medical Legislation 90.753(.000) 44 .031 0.996

Criteria for acceptance of model p>.05 equal to or less than 0.05 equal to or more than 0.09

a) Not calculated since degree of freedom of the model is zero.

b) Not calculated since the number of test variables is equal to or less than two, and there is no middle-category hierarchy under large-category.

Table7.
Standardized regression coefficient of the large-category hierarchy under subjects
largecategory Oral Medicine Orthodontics Oral pathology Oral biology Prosthodontics Pediatric Dentistry Oral and Maxillodacial Radiology Periodontics Oral and Maxillofacial Surgery Dental Health Science Medical Law
1 0.617 0.611 0.421 0.547 0.675 0.454 0.436 0.293 0.695 0.576 0.393
2 0.294 0.715 0.538 0.696 0.803 0.330 0.575 0.435 0.693 0.542 0.085*
3 0.472 0.817 0.605 0.554 0.682 0.538 0.507 0.220 0.734 0.503 0.238
4 0.547 0.653 0.503 0.669 0.350 0.610 0.434 0.138
5 0.519 0.248 0.747 0.492 0.452
6 0.548 0.590 0.461 0.334
7 0.471 0.204
8 0.576 0.274
9 0.255 0.295
10 0.179
11 0.396

*p >0.05

Table8.
Standardized regression coefficient of the large-category under middle-category of Conservative Dentistry subject
large-category middle-category Standardized
regression coefficient
value
1 1 a11 0.427
2 a12 0.468
3 a13 0.520
4 a14 0.518
5 a15 0.525
2 1 a21 0.450
2 a22 0.556
3 a23 0.556
4 a24 0.606
5 a25 0.460
6 a26 0.414
7 a27 0.331

large-category 1 ↔ large-category 2 0.982
  • 1. 성태제. 타당도와 신뢰도. 서울: 양서원; 1995.
  • 2. 서울대학교교육연구소. 교육학대백과사전. 서울: 1999.
  • 3. 구강내과학회. 구강내과학. 서울: 신흥인터내셔날; 1998.
  • 4. 고명연 등. 임상구강내과학. 서울: 신흥인터내셔날; 1997.
  • 5. 고상덕. 치과교정학. 고문사; 2003.
  • 6. 임창균 등. 구강병리학(원색도본). 서울: 고려의학; 1999.
  • 7. 대학구강생물학회 편저. 미생물학. 서울: 범문사; 2004.
  • 8. 양재모 편저. 고정성보철학. 서울: 신흥인터내셔날; 1998.
  • 9. 대한소아치과학회. 소아치과학. (개정판). 서울: 이화 출판사; 1990.
  • 10. 이상호 등. 소아치과학. 서울: 고문사; 2003.
  • 11. 대한구강악안면방사선학교수협의. 구강악안면방사선학. 3판. 서울: 한국나래출판사; 2000.
  • 12. 신형식 등. 치주과학. 서울: 고문사; 2003.
  • 13. 구강악안면외과학회 편저. 구강악안면외과학. 서울: 의치학사; 1998.
  • 14. 대한치과보존학회 역. 치과보존학. 서울: 한국나래 출판사; 2003.
  • 15. 임병철. 구강보건학. 서울: 청구문화사; 1999.
  • 16. 고영무 등. 치과재료학. (셋째판). 서울: 고문사; 2001.
  • 17. 정인성 등. 치과재료학. 서울: 신광출판사; 2000.
  • 18. 이준상. 의료관계법규. (개정판). 서울: 고려의학; 2004.
  • 19. 김계수. AMOS 구조방정식 모형분석. 서울: SPSS 아카데미; 2004.
  • 20. 이순묵. 요인분석의 기초. 서울: 교육과학사; 2000.
  • 21. Ebel RL. Measuring Educational Achievement. Englewood Cliffs, NJ: Prentice-Hall; 1965.
  • 22. 이기종. 구조방정식 모형. 서울: 교육과학사; 2000.

Figure & Data

References

    Citations

    Citations to this article as recorded by  

      Figure
      • 0
      • 1
      • 2
      • 3
      Construct Validity of the Korean Dental Licensing Examination using Confirmatory Factor Analysis
      Image Image Image Image
      Fig. 1. Measurement model for the evaluation of dentists’job performance ability.
      Fig. 2. Measurement model for subject
      Fig. 3. Measurement model for large-category
      Fig. 4. Path diagram of Korean Dental Licensing Examination.
      Construct Validity of the Korean Dental Licensing Examination using Confirmatory Factor Analysis
      Subject Large category middle category No. items Mean of Difficulty indexa) Mean of Discrimination indexa)
      1 Oral Medicine 4 11 15 0.70 0.36

      2 Orthodontics 3 18 33 0.83 0.38

      3 Oral and Maxillofacial Pathology 4 8 15 0.74 0.42

      4 Oral Biology 6 - 48 0.53 0.28

      5 Prosthodontics 3 28 40 0.77 0.33

      6 Pediatric Dentistry 9 - 26 0.75 0.38

      7 Oral and Maxillofacial Radiology 5 - 26 0.68 0.37

      8 Periodontology 6 26 26 0.64 0.31

      9 Oral and Maxillofacial Surgery 3 20 40 0.72 0.31

      10 Conservative Dentistry 2 11 40 0.69 0.32

      11 Preventive and Public Health Dentistry 4 - 20 0.69 0.34

      12 Dental Materials 2 - 15 0.68 0.39

      13 Health Medical Legislation 11 - 20 0.61 0.31

      Total 62 122 364 0.69 0.35
      Subjects Oral Medicine Orthodontics Oral and Maxillofacial pathology Oral biology Prosthodontics Pediatric Dentistry Oral and Maxillodacial Radiology Periodontology Oral and Maxillofacial Surgery Conservative Dentistry Preventive and Public Health Dentistry Dental Materials Health Medical Legislation Total score
      Oral Medicine 1.00
      Orthodontics 0.62 1.00
      Oral and Maxillofacial Pathology 0.58 0.63 1.00
      Oral Biology 0.64 0.69 0.63 1.00
      Prosthodontics 0.61 0.74 0.61 0.71 1.00
      Pediatric Dentistry 0.60 0.72 0.61 0.66 0.72 1.00
      Oral and Maxillofacial Radiology 0.61 0.71 0.62 0.69 0.72 0.68 1.00
      Periodontology 0.52 0.64 0.57 0.58 0.65 0.60 0.63 1.00
      Oral and Maxillofacial Surgery 0.62 0.73 0.63 0.73 0.73 0.69 0.71 0.63 1.00
      Conservative Dentistry 0.60 0.73 0.63 0.73 0.74 0.70 0.73 0.64 0.74 1.00
      Preventive and Public Health Dentistry 0.51 0.59 0.55 0.59 0.60 0.59 0.61 0.55 0.59 0.59 1.00
      Dental Materials 0.59 0.66 0.60 0.66 0.67 0.63 0.64 0.58 0.66 0.67 0.57 1.00
      Health Medical Legislation 0.41 0.46 0.39 0.47 0.49 0.45 0.49 0.42 0.47 0.46 0.44 0.44 1.00
      Total score 0.74 0.86 0.75 0.86 0.87 0.83 0.85 0.76 0.87 0.88 0.73 0.79 0.59 1.00
      Subjects Oral Medicine Orthodontics Oral and Maxillofacial pathology Oral biology Prosthodontics Pediatric Dentistry Oral and Maxillodacial Radiology Periodontology Oral and Maxillofacial Surgery Conservative Dentistry Preventive and Public Health Dentistry Dental Materials Health Medical Legislation
      Reliability 0.558 0.778 0.619 0.746 0.778 0.722 0.733 0.575 0.752 0.765 0.571 0.607 0.498
      model x2(p) degree of freedom RMSEAa) NNFIb)
      Evaluation of Dentists’Job Performance Ability 129.324(.000) 65 0.030 0.998
      Acceptance criteria of model p>.05 0.05이하 0.09이상
      Subjects Standardized
      regression coefficient
      value
      Oral Medicine a1 0.729
      Orthodontics a2 0.853
      Oral and Maxillofacial Pathology a3 0.744
      Oral Biology a4 0.830
      Prosthodontics a5 0.859
      Pediatric Dentistry a6 0.817
      Oral and Maxillofacial Radiology a7 0.841
      Periodontology a8 0.741
      Oral and Maxillofacial Surgery a9 0.853
      Conservative Dentistry a10 0.860
      Preventive and Public Health Dentistry a11 0.708
      Dental Materials a12 0.782
      Health Medical Legislation a13 0.558
      Subjects x2(p) degree of freedom RMSEA NNFI etc
      Oral Medicine 17.976(.000) 2 .086 0.992
      Orthodontics - - - - Not calculated a)
      Oral and Maxillofacial Pathology 4.648(.098) 2 .035 999
      Oral Biology 50.092(.000) 9 .065 0.994
      Prosthodontics - - - - Not calculated a)
      Pediatric Dentistry 55.502(.001) 27 .031 0.998
      Oral and Maxillofacial Radiology 7.068(.000) 5 .020 0.999
      Periodontology 27.945(.001) 9 .044 0.997
      Oral and Maxillofacial Surgery - - - - Not calculated a)
      Conservative Dentistry 65.740(.014) 43 .022 0.999 Analyzed as two
      large-categories
      Preventive and Public Health Dentistry 1.003(.606) 2 .000 1.000
      Dental Materials - - - - Not calculated b)
      Health Medical Legislation 90.753(.000) 44 .031 0.996

      Criteria for acceptance of model p>.05 equal to or less than 0.05 equal to or more than 0.09
      largecategory Oral Medicine Orthodontics Oral pathology Oral biology Prosthodontics Pediatric Dentistry Oral and Maxillodacial Radiology Periodontics Oral and Maxillofacial Surgery Dental Health Science Medical Law
      1 0.617 0.611 0.421 0.547 0.675 0.454 0.436 0.293 0.695 0.576 0.393
      2 0.294 0.715 0.538 0.696 0.803 0.330 0.575 0.435 0.693 0.542 0.085*
      3 0.472 0.817 0.605 0.554 0.682 0.538 0.507 0.220 0.734 0.503 0.238
      4 0.547 0.653 0.503 0.669 0.350 0.610 0.434 0.138
      5 0.519 0.248 0.747 0.492 0.452
      6 0.548 0.590 0.461 0.334
      7 0.471 0.204
      8 0.576 0.274
      9 0.255 0.295
      10 0.179
      11 0.396
      large-category middle-category Standardized
      regression coefficient
      value
      1 1 a11 0.427
      2 a12 0.468
      3 a13 0.520
      4 a14 0.518
      5 a15 0.525
      2 1 a21 0.450
      2 a22 0.556
      3 a23 0.556
      4 a24 0.606
      5 a25 0.460
      6 a26 0.414
      7 a27 0.331

      large-category 1 ↔ large-category 2 0.982
      Table1. Subject construct of the Korean Dental Licensing Examination(2004)

      Mean of difficulty index and that of discriminating index may not exactly same with the results publicized by the National Health Personnel Licensing Board of the Republic of Korea since the results of this table is based on the classical test theory.

      Table2. Correlations between each subjects and total score

      Table3. Reliability of each subjects (Cronbach-α)

      Table4. Goodness of fit of the model for the evaluation of dentists’ job performance ability

      Root Mean Square Error of Approximation

      Non-Normed Fit Index

      Table5. Standardized regression coefficient of each subjects

      Table6. Goodness of fit of the subject model

      Not calculated since degree of freedom of the model is zero.

      Not calculated since the number of test variables is equal to or less than two, and there is no middle-category hierarchy under large-category.

      Table7. Standardized regression coefficient of the large-category hierarchy under subjects

      *p >0.05

      Table8. Standardized regression coefficient of the large-category under middle-category of Conservative Dentistry subject


      JEEHP : Journal of Educational Evaluation for Health Professions
      TOP