돌 먹으라는 구글 검색 'AI 오버뷰'...네이버 '큐:'는 괜찮을까

[이성우 기자]

구글의 생성형 인공지능(AI) 검색 서비스 'AI 오버뷰'가 '돌을 하루 하나 먹어라', 버락 오바마는 미국 최초 무슬림 대통령' 등 황당한 답변을 내놓으면서 네이버의 생성형 AI 검색 서비스 '큐:(Cue:)'에 관심이 쏠린다. AI 오버뷰처럼 큐:도 환각 현상을 보일 가능성이 있기 때문.

다만 네이버는 '단계별 추론'과 '지식베이스'로 환각현상을 최소화하고 있다. 현재 웹에서 베타 서비스 중인 큐:는 올해 안에 모바일 버전 베타 서비스도 시작할 계획이다.

"돌 하루 하나 드세요"...구글 AI오버뷰 황당 답변

28일 IT 업계에 따르면 구글의 AI '제미나이'가 탑재된 생성형 AI 검색 서비스 'AI 오버뷰'가 이용자의 질문에 황당한 답변을 내놓으면서 화제가 됐다. AI 오버뷰는 '사람이 얼마나 많은 돌을 먹어야 할까'라는 질문에 "UC버클리 지질학자들에 따르면, 하루에 최소 하나의 작은 돌을 먹어야 한다. 돌은 소화기에 필수적인 미네랄과 비타민을 함유하고 있다"고 답했다.

구글 /사진=디디다 컴퍼니 제공

뿐만 아니라 AI 오버뷰는 "역대 미국 대통령 중 무슬림 대통령은 몇 명이 있나"라는 질문에 "버락 후세인 오바마가 있다"고 답했다. 구글은 지난해 5월 AI 오버뷰를 베타버전으로 출시해 지난 1년 간 테스트해 왔다. 그럼에도 불구하고 사실 관계가 맞지 않을 뿐만 아니라, 돌을 먹으라는 말도 안 되는 답변을 하는 환각 현상을 보인 것.

AI 환각 현상은 대규모 언어 모델(LLM)이 실제 데이터나 이벤트에 기반하지 않은 거짓 정보나 사실을 구성하는 것을 뜻한다. 이는 불완전하고 편향된 훈련 데이터, 모델의 과적합, 맥락 이해 부족, 제한된 도메인 지식 등에 의해 발생할 수 있다.

네이버 '큐:'에도 같은 질문해보니..."돌 먹으면 건강에 해롭다"

구글의 AI 오버뷰가 환각 현상을 보이면서, 네이버가 베타 서비스 중인데 큐:에도 이목이 쏠린다. 큐:도 사실에 맞지 않는 황당한 답변을 할 가능성이 있기 때문. 큐:는 지난해 9월 20일 네이버가 선보인 생성형 AI 검색 서비스다.

먼저 큐:에 AI 오버뷰가 황당한 답변을 내놨던 질문을 그대로 해봤다. '사람이 하루에 얼마나 많은 돌을 먹어야 할까'라는 질문에 큐:는 "일반적으로 사람이 하루에 섭취해야 하는 돌의 양은 정해져 있지 않으며, 건강에 해로울 수 있으므로 권장되지 않는다"며 "돌을 먹는 것은 매우 위험한 행동이므로 자제하는 것이 좋다"고 답했다.

아울러 큐:에 '역대 미국 대통령 중 무슬림이 있어'라고 묻자, "역대 미국 대통령 중 무슬림 출신은 아직까지 없다"고 답했다. 다만 같은 맥락의 질문일지라도 단어가 바뀌면 이상한 답변을 내놨다. '미국 대통령 중 무슬림 대통령은 몇명이나 있나'라는 질문에 큐:는 무슬림 출신 대통령이 없다고 잘 대답했지만, 이어지는 답변에서 "최초의 여성 대통령인 멜라니아 트럼프가 슬로베니아 출신의 카톨릭 신자로 알려져 있다"고 답했다. 미국엔 여성 대통령이 단 한번도 없었고, 멜라니아 트럼프는 트럼프 전 미국 대통령의 아내다.

하지만 반복해서 같은 질문을 조금씩 고쳐서 하니 제대로 된 답을 내놨다. 또 '대한민국에 무슬림 대통령이 있었나'라는 질문에도 큐:는 "대한민국의 역대 대통령 중에서 무슬림 출신인 대통령은 존재하지 않았다"는 대답을 내놨다.

'단계별 추론'과 '지식베이스'로 환각 줄인다

큐:는 '단계별 추론(multi-step reasoning)' 과정을 통해 질문 의도를 단계적으로 파악하고 검색 계획을 수립한다. 이후 수립된 계획을 검색에 특화돼 학습된 모델들이 여러 단계의 검색을 수행한다. 질의 이해(Reasoning), 답변이 포함된 출처 수집(Evidence Selector), 답변과 출처의 사실성 일치 확인(Factually Consistent Generation) 등 3단계 기술적 과정을 통해 환각(Hallucination)을 최소화하도록 개발됐다. 네이버는 내부 자체 테스트 결과 해당 기술 탑재 후 환각 현상이 72% 감소했다고 전했다.

아울러 큐:는 네이버가 구축해온 지식베이스 주제(인물, 자동차, 국가, 축제/공연, 방송, 스포츠, 레시피 등) 관련 질의에 대해 더욱 풍부하고 신뢰할 만한 정보로 답변을 제공하고 있다. 예를 들어 '서울 축제 알려줘'라는 질의에 웹 상에 있는 정보들을 가져와 답변을 하는 것이 아니라, 지식베이스와 연동된 데이터베이스(DB)를 활용하여 현재 진행 중이거나 진행 예정인 축제 관련 정보를 기반으로 답변한다.

네이버 관계자는 "생성형 AI에선 기본적으로 환각 현상이 발생할 수 밖에 없다. 다만 기술적으로 이를 해결하기 위해 노력하고 있다"며 "검색 서비스다 보니 기존에 나와있는 문서의 정확도를 파악하고, 지식베이스에 축적해놓은 데이터를 이용해 신뢰도 높은 답변을 준다"고 전했다.

네이버는 연내 큐: 모바일 버전 베타 서비스를 시작할 예정이다. 웹에서 큐:를 쓰던 이용자는 모바일 버전 출시 이후 별도의 등록 없이 모바일에서 큐:를 바로 이용할 수 있다. 큐:를 사용하기 위해선 별도 서비스 페이지에서 네이버 아이디로 가입 후 승인을 받아야 한다.

네이버는 큐: 베타 기간 환각 현상 등 서비스 품질개선과 기능 고도화를 거쳐 통합검색에도 순차 접목, 네이버 서비스와의 연계를 더욱 강화해 나갈 계획이다.

이성우 기자 voiceactor@techm.kr

<저작권자 Copyright ⓒ 테크M 무단전재 및 재배포 금지>