"챗GPT가 대학 시험서 학생 성적 능가...탐지 거의 안 돼"

[박찬 기자]

(사진=셔터스톡)

'챗GPT'가 대학 시험에서 진짜 학생들보다 우수한 성적을 냈다는 연구 결과가 나왔다. 또 가상 학생이 인공지능(AI)이라는 것도 교수진은 거의 알아차리지 못한 것으로 알려졌다.

BBC는 27일(현지시간) 영국 레딩 대학교 연구진이 챗GPT를 사용해 33명의 가상 학생을 만들어 치른 심리학 학사 학위 온라인 시험에서 진짜 학생들보다 83%가 더 높은 성적을 받았다고 보도했다.

이에 따르면 연구진은 63개 문항에 대한 인공지능(AI) 답변을 제출했다.

채점을 맡은 교수들은 33개의 시험 답안 중 하나만 AI로 작성된 것이라고 감지했을 뿐, 94%에 해당하는 나머지 32개의 답안에 대해서는 AI가 작성했다는 것을 알아차리지 못했다. 특히 에세이 답안은 하나도 감지할 수 없었다고 전했다.

하지만 챗GPT는 추론에서 인간보다 약하다는 것도 다시 확인됐다.

이번 연구에서는 1~3학년 과정에 걸쳐 실험이 이뤄졌으며, 1학년과 2학년에서는 AI 답안이 실제 학부생들이 얻은 점수를 능가했다. 그러나 3학년 시험에서는 실제 학부생이 AI 답안보다 더 높은 점수를 받았다.

연구진은 이에 대해 "현재 AI가 더 추상적인 추론에 어려움을 겪고 있는 것으로 보인다"고 평가했다.

연구진은 이번 실험으로 학생들이 AI를 사용할 가능성이 더 커졌다고 우려했다. 이를 통해 부정행위를 하지 않은 학생들보다 더 좋은 성적을 받을 수 있다는 설명이다.

연구를 이끈 피터 스카프 부교수와 에티엔 로에쉬 교수는 "이번 연구 결과는 전 세계 교육자들에게 경종을 울리는 역할을 해야 한다"라며 "완전히 손으로 쓰는 대면 시험으로 돌아가지는 않겠지만, 글로벌 교육 부문은 AI에 직면해 진화해야 할 것"이라고 지적했다.

학계는 교육에서 AI의 영향에 대해 우려를 표명했으며, 글래스고 대학교는 최근 한 과목에서 대면 시험을 재도입하기도 했다. 또 지난달 튀르키에에서는 대입 시험에 챗GPT로 부정 행위를 하다가 구속되는 사건도 발생했다.

하지만 이미 숙제나 논문에 챗GPT 사용이 일상화됬다는 연구 결과가 속속 등장하고 있다. 올해 초 가디언은 대부분의 학부생이 에세이를 작성할 때 AI 프로그램을 사용하며, 5%는 편집되지 않은 AI 생성 텍스트를 그대로 붙여넣었다는 연구 결과를 보도했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>