홈 고객센터 공지사항

공지사항

2회 시험 총평…시험 신뢰도 높아져

2009. 02. 19


한국경제신문이 지난 8일 건국대 등 전국 16개 고사장에서 실시한 제2회 경제이해력 검증시험(TESAT) 성적을 분석한 결과 아쉽게도 최우수등급인 S등급은 1명도 배출되지 않았다. 그러나 1등급 이하 등급 제외까지 각 등급 분포는 1회 시험과 비슷한 것으로 나타났다. 특히 시험문항의 적정성 일관성 변별력 등을 평가하는 크론바흐 알파 지수 등이 1회 시험보다 높게 나와 경제이해력 검증 시험으로서는 최적의 시험이었음이 이번에도 입증됐다.
특이한 것은 대부분 필답고사에서 여성들이 높은 점수를 기록하는 것과는 달리 테샛은 1회 시험과 마찬가지로 남성의 성적이 여성보다 높은 현상이 지속돼 관심을 끌었다. 또 개인 자격으로 참가한 고등학생들 성적이 1회 때보다 높아진 것으로 나타났다.

◆S등급 없어 아쉬움

이번 시험의 평균 점수(300점 만점)는 154.5점(100점 만점 기준 51.5점)으로 지난해 1회 시험 평균 159점(53점)보다 4.5점 낮아진 것으로 나왔다. 특히 지난 1회 시험에서 1명이 기록했던 S등급(평균 90점 이상)을 기록한 응시자가 없었다. 1등급(270점)과 2등급(240점)은 각각 전체의 0.8%, 5.7%로 나타났다. 2등급 이상은 영업조직의 중간 관리자로 투입해도 좋다는 수준이며 1등급은 기획 조정 업무의 전문가로 활동할 만한 자질이 있다고 평가되고 있다. 기업체 일반 사무직에서 근무할 만하다고 보는 수준인 3등급은 17.1%를 차지했다.
각 영역별로 보면 경제 영역 평균이 61.24점으로 지난 1회(54.9) 때보다 6.34점 높게 나왔다. 이는 경제 영역 문항이 1회에 비해 쉬웠던 측면도 있지만 수험생들이 본격적으로 테샛 공부를 시작했음을 의미하는 것으로도 분석됐다. 이에 반해 시사영역 평균은 40.68로 1회보다 11점이나 크게 떨어졌다. 시사 문제가 다소 어려웠던 것은 금융 위기와 관련된 전문적인 금융용어들을 묻는 문항들에서 점수가 나빴다. 상황 판단 영역은 52.38로 1회 시험(52.55)과 비슷한 것으로 나타났다.

◆질적 수준 매우 높아져

한경 경제교육연구소가 2회 성적을 분석한 결과 시험을 평가하는 각종 신뢰도와 타당도 검사에서 매우 높은 점수를 기록했다. 한경은 테샛 시험의 신뢰도와 타당성을 높이기 위해 다양한 기법으로 문제를 출제하고 통계 처리하고 있다.
우선 성적 상위자의 오답과 성적 하위자의 정답률이 높은 문항을 비교 평가한 신뢰성 계수(알파 크론바흐 지수)가 0.82로 1차 시험 0.77보다 높게 나타났다. 알파 크론바흐 지수는 상위 20%와 하위 20%의 상관성을 측정하는 지수로 상위 20%에 속한 응시자의 정답률이 높은 문제를 하위 20%에서 오답률이 높은 경우는 정상이지만 상위 20%의 오답률이 높은 문제를 하위 20%에서 정답률이 높은 경우라면 비정상으로 간주하는 변별력 평가 방법이다. 이 신뢰성 지수의 최고치는 1.0으로 일반적으로 0.7 이상이면 적정， 0.8 이상이면 양호한 것으로 보고 있다.

또 각 영역별 점수와 종합 점수의 상관성을 평가하는 피어슨(Pearson) 상관계수도 경제 0.84,시사 0.82,상황판단 0.8로 고른 분포를 보였다. 이는 테샛이 한 영역에 치우침이 없이 수험생들의 경제 지력을 골고루 평가하는 잣대로 충분한 균형성을 갖춘 것으로 설명된다. 일반적으로 각종 평가시험들이 각 영역별 난이도 조정에 실패해 피어슨 상관계수가 고르지 못하게 나오는 경우를 흔히 볼 수 있지만 테샛은 이를 극복한 것이다.
테샛은 표준편차치에 의한 표준점수를 위주로 시험을 평가하는 다른 시험과는 달리 문항반응이론(IRT)기법에 맞춰 시험의 적정성을 평가하고 있다. IRT 기법은 문항별 난이도와 변별도를 근거로 성적을 산출하는 측정 기법으로 문항별로 측정 내용의 통계적 특성을 미리 조사해 둔 다음 시험 점수를 평균화하는 방식이다. 선진국에선 이 방식을 많이 활용하고 있다. 한경 경제교육연구소는 테샛 시험의 신뢰도를 더욱 높이기 위해 선진 평가기법을 지속적으로 발굴해 활용할 계획이다.

오춘호 한경 경제교육연구소 연구위원 ohchoon@hankyung.com

목록
  • TESAT 시험일정
  • 단체응시 안내
  • 접수확인 및 수정
  • TESAT 통계자료
  • TESAT 공부방
  • FAQ
  • Q&A