평가원 주관식 자동채점 기술개발…수능 서술형 도입?

한국교육과정평가원 홈페이지/뉴스1 DB© News1

(서울=뉴스1) 김재현 기자 = 앞으로 응시자 수가 많은 대규모 시험에서도 주관식 문항을 출제할 수 있는 기반이 마련됐다. 두세 문장 정도의 답안을 자동채점할 수 있는 프로그램을 한국교육과정평가원(평가원)이 개발했다. 그동안 대학수학능력시험이나 국가수준학업성취도평가와 같은 대규모 시험에서는 채점에 용이한 객관식·단답형 문항만 출제됐었다.

평가원은 주관식 답을 컴퓨터로 채점할 수 있는 '한국어 서답형(주관식) 문항 자동채점 프로그램'을 개발했다고 22일 밝혔다. 관련 개발 특허는 4건이다.

답안의 내용을 자동으로 인식하고 평가하는 프로그램이다. 축적된 한국어 처리기술과 기계학습 기반의 자동분류 원리 등이 적용됐다.

단어·구(句) 수준의 답을 요구하는 문항을 채점하는 수준은 상당한 편이다. 2016년 국가수준학업성취도평가 표집채점에서 국어·과학과목에 해당 프로그램을 적용한 결과, 채점 정확도가 둘다 100%로 나타났다. 두 사람이 프로그램을 활용하지 않고 손수 채점했을 때(국어 97.5%, 과학 99.3%)보다 높은 수치다.

문장 채점정확도도 낮은 편은 아니다. 과목별로 다르지만 현재 89~99% 수준에 이른다. 평가원은 2·3차 채점과정을 거치면 채점정확도를 좀 더 높일 수 있을 것으로 기대했다.

물론 한계도 있다. 연필이나 펜으로 주관식 답안을 직접 쓸 경우 대부분 글씨체가 다르기 때문에 인식률이 다소 떨어진다.

수능 출제기관인 평가원이 이러한 기술을 개발하면서 향후 수능의 서술형문항 출제 가능성도 점쳐진다. 하지만 이에 대해 평가원은 선을 그었다.

평가원 관계자는 "수능을 염두에 두고 자동채점 프로그램을 개발한 건 아니다"라며 "프로그램 수준도 아직 두세 문장 길이의 답을 채점할 수 있는 정도여서 단락단위로 기재하는 논·서술형과도 격차가 있다"고 말했다.
kjh7@

[© 뉴스1코리아(news1.kr), 무단 전재 및 재배포 금지]