[단독]주관식 시험, 자동채점 가능해져

교육과정평가원, 프로그램 개발 “실험 결과 사람 채점보다 정확”

태블릿PC 답안 작성 도입 땐 수능 등 대규모 시험 적용 가능

앞으로 대학수학능력시험 등 대규모 시험에서 주관식 문항을 낼 수 있는 기술적 기반이 마련됐다. 한국교육과정평가원은 주관식 답안을 채점할 수 있는 ‘한국어 서답형 문항 자동채점 프로그램’을 개발해 특허 4건을 취득했다고 21일 밝혔다. 평가원은 “축적된 한국어 자연언어 처리 기술과 기계 학습 기반 자동 분류 원리를 활용해 프로그램을 설계했다”며 “한 문장 정도의 답안을 정확하게 채점할 수 있는 수준”이라고 밝혔다.

실제 이 프로그램을 2016년 국가수준 학업성취도평가의 표집 채점에 적용해 보니 사람이 직접 한 채점보다 정확한 것으로 나타났다. 단어나 구(句) 수준의 답안을 요구하는 문항에 대해 두 사람이 이 프로그램을 활용해 채점한 답안의 일치도는 국어와 과학은 100%, 사회는 99.6%였다. 반면 두 사람이 프로그램 없이 손수 채점한 답안의 일치도는 국어 97.5%, 과학 99.3%로 나타났다. 사람이 채점할 때는 피로도와 주관적 판단이 개입해 일치도가 떨어지는 것으로 분석됐다.

‘빛의 양이 많아지면 동공의 크기는 작아진다’ 같은 한 문장의 답안을 요구하는 문항을 이 프로그램으로 채점했을 때도 과목별 일치도는 88.9(중3 사회)∼99.1%(중3 국어)로 높았다. 평가원은 1차로 자동 채점을 해 두 결과가 일치하는 답안은 최종 점수로 확정하고, 불일치할 경우 2차, 3차 채점 과정을 거치면 정확한 채점이 가능하다고 보고 있다.

다만 문제는 펜으로 답을 적게 할 경우 글자를 인식하는 작업이 먼저 이뤄져야 한다. 노은희 평가원 연구위원은 “손으로 쓰지 않고 태블릿PC 등을 이용해 답안을 작성하는 체제가 도입되면 수능에서도 서답형 문항 출제가 검토될 수 있을 것”이라고 말했다.

유덕영 기자 firedy@donga.com