홈 뉴스

뉴스

제2회 테샛 시험 살펴보니

2009. 02. 19

[제2회 테샛 시험 살펴보니]


한국경제신문이 지난 8일 건국대 등 전국 16개 고사장에서 실시한 제2회 경제이해력 검증시험(TESAT) 성적을 분석한 결과 아쉽게도 최우수등급인 S등급은 1명도 배출되지 않았다. 그러나 1등급 이하 등급 제외까지 각 등급 분포는 1회 시험과 비슷한 것으로 나타났다. 특히 시험문항의 적정성 일관성 변별력 등을 평가하는 크론바흐 알파 지수 등이 1회 시험보다 높게 나와 경제이해력 검증 시험으로서는 최적의 시험이었음이 이번에도 입증됐다.
특이한 것은 대부분 필답고사에서 여성들이 높은 점수를 기록하는 것과는 달리 테샛은 1회 시험과 마찬가지로 남성의 성적이 여성보다 높은 현상이 지속돼 관심을 끌었다. 또 개인 자격으로 참가한 고등학생들 성적이 1회 때보다 높아진 것으로 나타났다.

◆S등급 없어 아쉬움

이번 시험의 평균 점수(300점 만점)는 154.5점(100점 만점 기준 51.5점)으로 지난해 1회 시험 평균 159점(53점)보다 4.5점 낮아진 것으로 나왔다. 특히 지난 1회 시험에서 1명이 기록했던 S등급(평균 90점 이상)을 기록한 응시자가 없었다. 1등급(270점)과 2등급(240점)은 각각 전체의 0.8%, 5.7%로 나타났다. 2등급 이상은 영업조직의 중간 관리자로 투입해도 좋다는 수준이며 1등급은 기획 조정 업무의 전문가로 활동할 만한 자질이 있다고 평가되고 있다. 기업체 일반 사무직에서 근무할 만하다고 보는 수준인 3등급은 17.1%를 차지했다.
각 영역별로 보면 경제 영역 평균이 61.24점으로 지난 1회(54.9) 때보다 6.34점 높게 나왔다. 이는 경제 영역 문항이 1회에 비해 쉬웠던 측면도 있지만 수험생들이 본격적으로 테샛 공부를 시작했음을 의미하는 것으로도 분석됐다. 이에 반해 시사영역 평균은 40.68로 1회보다 11점이나 크게 떨어졌다. 시사 문제가 다소 어려웠던 것은 금융 위기와 관련된 전문적인 금융용어들을 묻는 문항들에서 점수가 나빴다. 상황 판단 영역은 52.38로 1회 시험(52.55)과 비슷한 것으로 나타났다.

◆질적 수준 매우 높아져

한경 경제교육연구소가 2회 성적을 분석한 결과 시험을 평가하는 각종 신뢰도와 타당도 검사에서 매우 높은 점수를 기록했다. 한경은 테샛 시험의 신뢰도와 타당성을 높이기 위해 다양한 기법으로 문제를 출제하고 통계 처리하고 있다.
우선 성적 상위자의 오답과 성적 하위자의 정답률이 높은 문항을 비교 평가한 신뢰성 계수(알파 크론바흐 지수)가 0.82로 1차 시험 0.77보다 높게 나타났다. 알파 크론바흐 지수는 상위 20%와 하위 20%의 상관성을 측정하는 지수로 상위 20%에 속한 응시자의 정답률이 높은 문제를 하위 20%에서 오답률이 높은 경우는 정상이지만 상위 20%의 오답률이 높은 문제를 하위 20%에서 정답률이 높은 경우라면 비정상으로 간주하는 변별력 평가 방법이다. 이 신뢰성 지수의 최고치는 1.0으로 일반적으로 0.7 이상이면 적정， 0.8 이상이면 양호한 것으로 보고 있다.

또 각 영역별 점수와 종합 점수의 상관성을 평가하는 피어슨(Pearson) 상관계수도 경제 0.84,시사 0.82,상황판단 0.8로 고른 분포를 보였다. 이는 테샛이 한 영역에 치우침이 없이 수험생들의 경제 지력을 골고루 평가하는 잣대로 충분한 균형성을 갖춘 것으로 설명된다. 일반적으로 각종 평가시험들이 각 영역별 난이도 조정에 실패해 피어슨 상관계수가 고르지 못하게 나오는 경우를 흔히 볼 수 있지만 테샛은 이를 극복한 것이다.
테샛은 표준편차치에 의한 표준점수를 위주로 시험을 평가하는 다른 시험과는 달리 문항반응이론(IRT)기법에 맞춰 시험의 적정성을 평가하고 있다. IRT 기법은 문항별 난이도와 변별도를 근거로 성적을 산출하는 측정 기법으로 문항별로 측정 내용의 통계적 특성을 미리 조사해 둔 다음 시험 점수를 평균화하는 방식이다. 선진국에선 이 방식을 많이 활용하고 있다. 한경 경제교육연구소는 테샛 시험의 신뢰도를 더욱 높이기 위해 선진 평가기법을 지속적으로 발굴해 활용할 계획이다.

오춘호 한경 경제교육연구소 연구위원 ohchoon@hankyung.com


남자 응시자가 여자 보다 성적 높아...특목고 학생들 두각

● 성적 분석

제2회 테샛 시험에서도 남성 평균(158.2)이 여성(144.64)에 비해 평균 13.6점 높았다. 1회 시험에서 남성 평균은 162.8점으로 여성(150.5)보다 평균 12점 높았다. 테샛 시험을 주관하는 경제교육연구소 측은 '암기보다는 논리력을 묻는 문제가 많았기 때문'에 이 같은 현상이 나타난 것인지를 검토하고 있지만 아직 결론을 내린 상태는 아니다"고 밝혔다. 시험 결과가 좀 더 누적되어야 정확한 판단이 가능할 것으로 보인다.
고등학생 평균은 168.1로 지난 1회 시험(144.77) 때 평균에 비해 22점이나 높게 나왔다. 고등학생들은 경제영역 평균이 67.6으로 강했으며 시사영역 44.9,상황판단 55.5로 세 영역 모두 좋은 성적을 받았다. 고등학생들 성적이 이처럼 높게 나타난 것은 응시자들 대부분이 대원외고 등 소위 특목고의 우수학생들이었기 때문으로 분석됐다. 또 이들 학생은 한경이 발행하는 고교생 경제신문인 생글생글 등을 열독하면서 평소에도 경제 공부를 많이 하고 있기 때문으로 해석됐다.
1등급은 11명이었다. KDI 경제경시대회 등 출전하는 경제시험마다 최고 성적을 휩쓸고 있는 장호준군(대원외고 2학년)을 비롯해 놀랍게도 4명의 고등학생이 1등급에 포함됐다. 이외에 대학생 4명,직장인 3명이 각각 1등급을 받았다. 지난 1회 시험에서는 고등학생 1명만이 1등급이었다. 이로써 테샛 1등급을 받은 사람은 1회를 포함해 모두 29명으로 늘어났다.
2회 시험을 평가한 정규재 한경 경제교육연구소장은 "시험이 전체적으로 다소 어려워졌는데도 불구하고 경제이론 분야 점수가 높아지고 있는 것은 고무적인 현상"이라며 "앞으로 시사이슈 이해문제를 심도있게 개발하면서 시험의 적정성과 일관성을 계속 유지하도록 노력하겠다"고 밝혔다.

오춘호 한경 경제교육연구소 연구위원 ohchoon@hankyung.com


목록
  • TESAT 시험일정
  • 단체응시 안내
  • 접수확인 및 수정
  • TESAT 통계자료
  • TESAT 공부방
  • FAQ
  • Q&A