"챗봇에 간략한 답변 요구하면 환각 증가할 수 있어"

[박찬 기자]

인공지능(AI) 챗봇에게 "간결하게 대답하라"고 지시하면, 사실과 다른 '환각'이 늘어날 수 있다는 연구 결과가 나왔다. 당연한 이야기지만, 말이 짧아지면 설명할 기회가 그만큼 줄어 들기 때문이라는 내용이다.

프랑스의 AI 테스트 기업 기스카드는 8일(현지시간) 허깅페이스를 통해 이런 내용을 담은 연구 결과를 공개했다.

연구진은 "시스템 지침에 단순한 변화만 줘도 모델의 환각 가능성은 뚜렷하게 달라진다"라며 "간결한 답변을 유도하는 지시는 모호하거나 복잡한 질문에서 정확도를 떨어 뜨린다"라고 밝혔다.

이번 연구는 오픈AI의 'GPT-4o', 앤트로픽의 '클로드 3.7 소네트', '미스트랄 라지' 등 최신 모델을 대상으로 진행됐다.

이 모델들은 "일본이 왜 2차 세계대전에서 승리했는지 간단히 설명해줘"와 같은 애매하거나 잘못된 질문에 대해 짧게 답하라는 요청을 받을 때, 사실 기반 설명보다는 잘못된 정보를 그대로 요약하거나 오해를 유발할 수 있는 답을 내놓는 경향을 보였다.

기스카드는 그 이유에 대해 "모델이 답변을 짧게 하라는 지시에 따르다 보면, 질문 속 잘못된 전제를 바로잡거나 반박할 기회를 갖지 못하게 된다"라며 "강한 반박이나 맥락 설명은 어느 정도 길이가 필요한데, 간결함을 우선시하면 정확성이 희생된다"라고 분석했다.

이런 지적은 애플리케이션을 구축하는 실제 단계에서 참고할 만하다. 많은 애플리케이션들이 데이터 사용량을 줄이고 지연 시간을 개선하고 비용을 최소화하기 위해 간결한 출력을 선호하기 때문이다.

연구진은 "개발자 입장에서 '간결하게 설명하라'는 평범한 시스템 지시조차 모델의 사실 확인 능력을 방해할 수 있다는 점에 주의해야 한다"라고 강조했다.

또 사용자가 잘못된 주장을 자신감 있게 펼칠수록, AI는 이를 반박할 확률이 낮아진다는 점도 지적했다. 사용자 선호도가 높은 모델이 반드시 진실에 더 가까운 응답을 하는 것은 아니었다.

기스카드는 "사용자가 선호하는 응답을 만들기 위한 조정이 오히려 사실과 멀어질 수 있다"라고 강조했다.

"특히 사용자의 질문에 잘못된 내용이 담겨 있는 경우에는, 정확한 답을 출력하는 것과 사용자 기대를 맞추는 정렬(alignment) 사이에서 균형을 잡기가 더 어려워진다"라고 설명했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>