| 초록 |
본 연구는 국가수준 학업성취도 평가(이하 학업성취도 평가)가 빠르게 변화하는 정책방향과 시대적 요구를 반영하고 국가수준에서의 지속적인 교육과정 점검 및 질 관리를 위한 기능을 공고히 할 수 있도록 표집자료에 기반한 학업성취도 평가 결과의 모집단 대표성 제고 및 교육적 의사 결정을 위한 결과 활용 방안을 마련하는 것을 주요 목적으로 한다. 특히 핵심 역량 및 교과 역량을 강조하는 2015 개정 교육과정의 도입·적용에 따라 표집평가전환 이후에도 학업성취도 평가 결과의 활용을 제고하고 개선하기 위한 방법을 모색함으로써 학업성취도 평가의 고유 목적인 학교교육의 질 관리를 강조하고자 한다. 따라서 본 연구에서는 첫째, 표집평가를 통해서도 전수평가와 근접한 수준으로 국가수준의 공신력 있는 평가 결과를 산출하기 위해 표집자료의 대표성을 확보하는 방안을 마련하고자 노력하였다. 둘째, 기존 전수평가 체제에서 강조되었던 학교 간 성취수준 비율 비교를 위한 평가 결과 산출 방식에서 벗어나 표집평가 체제의 특성에 맞도록 학업성취도의 서열화 정보는 축소하면서도 국가 수준, 시･도교육청 수준, 학교 수준, 학생 수준에서 교육적으로 유용한 구체적인 학업성취 특성(강점·취약점)을 산출하여, 교육의 질 관리 및 효율적인 교육 정책 수립을 위한 평가 결과 산출 방법을 모색하였다. 셋째, 우리나라 학생들의 인지적· 비인지적 측면에서의 균형 있는 교육성과 정보를 제공하고 그 결과를 교육적 진단 및 처방에 활용될 수 있도록 설문지 개선 방안 연구를 통해 학생들의 비인지적 특성 정보를 수집하는 기능을 강화할 뿐 아니라, 이를 지표화하여 학업성취도와 함께 설문 결과를 산출·제공하고 추이를 모니터링 할 수 있는 전략 등을 제시하였다. [그림 1]은 본 연구의 배경, 연구 목적,연구 내용, 연구 결과, 기대 효과를 도식화하여 제시한 것이다. ❏ 학업성취도 평가 표집자료 대표성 제고 방안 탐색 학업성취도 평가는 우리나라 중등교육의 질 점검을 위한 타당하고 신뢰할 수 있는 국가수준의 지표를 제공하는 대표적인 대규모 평가로, 표집평가 체제에서도 이러한 역할을 담당하기 위해서는 표집 절차와 분석 방법에서 엄밀성을 유지할 필요가 있다. 따라서 학업성취도 평가가 표집평가로 전환됨에 따라 학업성취도 평가의 표집설계에 기반하여 정교한학생별 가중치 산출 방안을 마련하였다. 또한 표집설계와 가중치를 고려한 표집오차 산출방안 연구를 통해 모집단 특성에 대한 통계적 추론을 위한 기초 정보를 제공함으로써 표본 자료에서 산출되는 통계 추정치의 대표성을 제고하고 공신력 있는 국가수준 학업성취도 평가 결과를 제공하는 데 목표를 두었다. 이를 위해 국내외 대규모 표집평가나 조사 연구에서 적용하고 있는 조사 설계 방식을 이론적으로 검토하고 그 절차를 분석한 결과, 가중치 산정 시 표집설계를 반영한 단계별 가중치 산출, 표집 과정에서 발생하는 결측치와 가중치 극단값 조정, 표집 이후의 사후보정 등 최종 가중치 산출까지 정교화 과정의 중요성을 확인할 수 있었다. 학업성취도 평가의 가중치 산정을 위해 학업성취도 평가의 2단계 층화 군집 표집설계에 따라 ① 기본 설계 가중치 산정, ② 결측치에 대한 보정, ③ 이상 가중치 절삭, ➃ 사후보정 방법을 적용하여 최종 가중치를 적용한 표집자료가 실제 모집단 분포와 유사하도록 방법 및 절차를 마련하였다. 둘째, 학업성취도 평가 결과는 표본 자료에 근거한 모집단의 추정치이므로 평가 결과에 대한 해석을 돕기 위해 표집오차를 산출하여 제시하는 방안을 마련하였다. 복잡한 표집 설계에 기반한 통계 추정치에 대해 대표적인 표집오차 산출 방법으로는 BRR(Balanced Repeated Replication), 잭나이프 방식, 테일러 선형화 방식이 있는데 본 연구에서는 각 방법에 대한 이론과 적용 사례 및 장단점을 검토하고 학업성취도 평가에 대한 적용 가능성을 점검하였다. 실제 자료를 활용하여 세 가지 표집오차 방식을 적용해 본 결과, 세 방식 모두 표집오차 크기에서는 커다란 차이를 보이지 않았으나, BRR 방식이 다소 크게 추정되었다. 결과적으로 본 연구에서 도출된 가중치와 표집오차 산출 방식 및 구체적 절차는 향후 학업성취도 평가 결과를 분석하는 데 적용될 예정이다. ❏ 교과 세부 학습영역 평가 결과 분석 방안 탐색 학업성취도 평가의 표집평가 전환에 따라 기존 전수평가 체제에서의 평가 결과 산출방법을 개선할 필요가 있었다. 즉 단위학교 및 시·도의 교육 책무성 점검보다는 우리나라 학생들의 학업성취 특성을 파악하여 학생의 요구에 맞는 교수‧학습을 실천할 수 있도록 유용한 정보를 다방면으로 이끌어 내고, 우리나라 교육의 질 관리 및 교육정책 효과 검증을 위하여 실효성 있는 평가 결과를 제공하기 위한 방안을 모색해야 할 것이다. 이에 본 연구에서는 학생들이 각 교과 내의 어떤 구체적인 세부 학습영역에서의 학업성취에서 강점과 취약점을 가지고 있는지를 분석하고, 향후 학생의 학습 과정에 도움이 되는 피드백을 제공함으로써 좀 더 유용하고 상세한 교육 정보를 제공하기 위한 방안을 모색하였다. 이를 실현하기 위해 첫째, 학업성취도 평가 결과를 교과 내 세부 학습영역 단위에서 산출하고 제공하는 방안을 탐색하였다. 2017년 학업성취도 평가 과학교과 검사 문항을 예시로 중학교 3학년 과학과 8개 세부 학습영역을 도출함과 동시에, 과학교과 학업성취도 문항과 세부 학습영역의 연결 관계를 제시하는 Q행렬을 개발하였다. 세부 학습영역을 도출하기 위해서 학업성취도 평가 문항의 출제 근거인 교육과정상의 성취기준에 기반을 두었으며, 2015 개정 교육과정에서 교과 역량 함양 및 역량 평가를 강조하는 점을 최대한 반영하고자 노력하였다. 과학교과에서 도출한 8개 세부 학습영역은 ① 현상에 포함된 과학 원리 설명하기, ② 과학적 원리를 실제 생활에 적용하기, ③ 탐구 문제를 발견하고 가설 설정하기,④ (문제해결을 위한) 탐구 방법을 설계하고 수행하기, ⑤ 수집된 자료를 분석하고 해석하기,⑥ 모형을 활용하여 현상을 설명하기, ⑦ 탐구 문제에 대한 결론이나 해결 방안 제시하기,⑧ 증거에 기반하여 논증하기(주장을 펼치거나 반론 제시하기)로 구성되었다. 둘째, 인지진단모형(Cognitive Diagnostic Model)을 적용하여 우리나라 중학교 3학년 학생들의 과학교과 8개 학습영역에서의 학업성취도를 산출함으로써 우리나라 학생들의 과학교과에서의 세부적인 특성(강약점)을 파악할 수 있는 방안을 탐색하였다. 연구 결과로 산출된 중학교 3학년 학생들의 전체적인 과학과 학업성취 특성을 요약하면, ‘현상에 포함된 과학 원리설명하기’, ‘수집된 자료를 분석하고 해석하기’, ‘탐구 문제에 대한 결론이나 해결 방안 제시하기’와 관련된 학습영역에서의 성취를 수월하게 하는 것으로 나타났다. 또한 ‘증거에 기반하여 논증하기’, ‘모형을 활용하여 현상 설명하기’, ‘탐구 방법을 설계하고 수행하기’에서의 성취를 가장 어려워하고 있는 것으로 나타났다. 이러한 평가 결과에 기반하여 개별 학생들에게 한층 구체적인 교육적 피드백을 제공해줄 수 있도록 교과 세부 학습영역 성취도를 포함하는 평가결과표 개선 방안을 제시하였다. 셋째, 국가수준 학업성취도 평가의 교과세부 학습영역 성취에서의 강점과 취약점을 제공하는 평가결과표 개선 방안을 제시하였다. 넷째, 과학교과 8개 세부 학습영역에서의 성취도 향상에 영향을 미치는 배경 변인을 탐색하기 위해 2수준 다층모형을 적용하여 분석한 결과, 과학과 8개 세부 학습영역은 공통적으로 학생 수준 변인인 ‘수업 중 토론, 모둠활동, 실험‧실습 등에 적극적으로 참여하는 정도’와학교수준 변인인 ‘지역 규모(대도시/중소도시/읍면지역)’, ‘학생들에게 과학탐구 동아리 활동기회 제공 여부’에 따라 유의한 영향을 받는 것으로 나타났다. 이러한 분석 결과는 향후 대도시‧중소도시에 비해 읍면지역에서 크게 취약점으로 나타나는 세부 학습영역에서의 성취도 향상을 위해 읍면지역의 어떠한 교육적 여건을 개선시켜야 하는지를 탐색할 필요성을 시사한다. 또한 본 연구의 분석 결과에 의하면, 학생의 수업 참여도, 특히 수업 중 학생의 토론, 모둠활동, 실험‧실습 등에서의 자발적‧적극적 참여를 증진시키거나, 학교에서 학생들의 과학 탐구 동아리 활동을 적극 지원하는 방안이 과학과의 모든 세부 학습영역에서의 성취를 향상시키는 데 효과적임을 알 수 있다. 본 연구에서 과학교과를 |
