차라리 모르는게 나을까…"AI, 더 똑똑할수록 오답 제공"

[AI리포터]

챗GPT [사진: 셔터스톡]

[디지털투데이 AI리포터] 인공지능(AI) 챗봇이 더 똑똑해질수록 잘못된 답변을 제공할 가능성이 높다는 연구 결과가 나왔다.

26일(현지시간) IT매체 엔가젯에 따르면 호세 에르난데스-오랄로(José Hernández-Orallo) 스페인 발렌시아 공과대학 교수는 AI 챗봇을 찾는 비중이 증가함에 따라 잘못된 정보가 확산할 수 있다고 우려를 나타냈다.

오랄로 교수 연구팀은 오픈AI의 챗GPT 시리즈, 메타의 라마(LLaMA), 오픈소스인 블룸(BLOOM) 세 가지 거대언어모델(LLM)에 대한 연구를 진행했다. 연구에는 각 모델의 초기 버전으로 가장 최근 버전은 포함되지 않았다.

연구팀은 산술, 지리, 과학과 관련된 수천 개의 질문을 제시하여 각 모델의 성능을 평가했다. 이어 AI 모델이 정보를 조작하는 능력(목록을 알파벳순으로 정렬하는 능력) 등을 테스트했으며, 질문들을 인식된 난이도에 따라 순위를 매겼다.

그 결과 AI 모델이 더 발전함에 따라 질문을 피하는 대신 오히려 잘못된 답변을 제공하는 경향이 더 높은 것으로 나타났다. 이는 AI 모델이 더 많은 지식을 얻을수록, 자신의 응답에 대해 오만함을 갖는 것을 시사한다고 연구팀은 설명했다.

더욱 복잡한 것은 챗봇의 답을 믿는 사람들이 많다는 것이다. 연구팀은 자원봉사자들에게 AI 챗봇의 답변의 정확성을 평가하도록 요청했고, 잘못된 답변이 종종 정확하다고 잘못 분류되었다는 것을 발견했다. 자원봉사자들이 정확하다고 인식한 잘못된 답변의 범위는 일반적으로 10%~ 40% 사이에 있었다.

이에 대해 오랄로 교수는 "인간들은 이러한 모델을 효과적으로 감독할 수 없다. AI 개발자들이 간단한 질문에 대한 성능을 개선하고, 챗봇에게 복잡한 질문에 대한 답변을 '모른다'라고 거절하도록 프로그래밍하는 것에 중점을 두는 것이 좋다"라고 권장했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>