AI 논문 인용 신뢰도 충격…연구 결과 66% '가짜'

[AI리포터]

[디지털투데이 AI리포터] 생성형 인공지능(AI)이 논문 인용을 조작하거나 오류를 포함하는 사례가 빈번하다는 연구 결과가 발표됐다.

7일(현지시간) 온라인 매체 기가진이 심리학 전문 매체 싸이포스트(PsyPost)를 인용한 바에 따르면, 호주 디킨대학교 심리학부 연구팀은 GPT-4o를 활용해 정신건강 연구 분야에서 AI가 얼마나 자주 인용 오류를 발생시키는지 실험했다.

연구팀은 대우울장애 폭식증 신체이형장애 등 3가지 질환에 대해 각각 기본적인 설명과 디지털 건강 개입을 다룬 두 가지 유형의 문헌 리뷰를 생성하도록 AI에 지시했다. AI는 약 2000단어 분량의 리뷰와 최소 20개의 학술 인용을 포함하도록 요청받았다.

결과적으로 AI가 생성한 176개의 인용문 중 35개(약 20%)가 완전히 조작된 것으로 확인됐다. 나머지 141개의 인용문 중 절반가량도 출판 연도, 저자 정보 등이 잘못된 '부분 오류'를 포함하고 있었다. 종합적으로 AI 생성 인용문의 3분의 2가 허위이거나 오류를 포함한 것으로 드러났다.

특히 연구가 부족한 주제일수록 AI의 인용 오류 가능성이 높았다. 대우울장애 관련 인용 오류율은 6%였지만, 폭식증과 신체이형장애에서는 각각 28%, 29%로 급증했다. 이는 AI가 학습 데이터가 부족한 분야에서 허위 정보를 생성할 가능성을 시사한다.

한편, 이번 연구는 GPT-4o 모델만을 대상으로 진행했으며, 연구팀은 향후 다른 AI 모델과 다양한 주제를 포함한 추가 연구가 필요하다고 밝혔다. AI 활용 논문 작성 시 철저한 검증이 필요하다는 경고도 함께 제기됐다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>