"정치 질문은 사절"…한두 개 아닌 AI 서비스, 누가 가장 똑똑할까

생성형 AI 비교해보니

국내외 생성형 AI 서비스 비교/그래픽=윤선정

다양한 생성형 AI(인공지능) 서비스가 시장에서 경쟁하는 가운데 각자의 강점을 고려한 활용이 필요하다. 이에 네이버 AI 서비스 '큐:'와 '클로바X'를 비롯해 오픈AI의 '챗GPT', 구글의 '제미나이', 퍼플렉시티의 '퍼플렉시티', MS의 '코파일럿', 앤트로픽의 '클로드' 등 6개사, 7개의 대표적인 AI서비스를 모두 사용해보고 한국형 AI의 수준이 어느정도인지, 어떤 AI가 똑똑한지 살펴봤다.

최신 정보 제공은 코파일럿의 압승이다. 윤석열 대통령의 2차 탄핵소추안이 가결된 지난 15일 오후 5시경 '2차 탄핵소추안 표결 결과 알려줘'라는 질문에 코파일럿만 정확한 답변을 제시했다. 퍼플렉시티는 이보다 조금 늦은 10분 뒤 정보를 제공했고, 챗GPT는 올바른 답변이 나오기까지 1시간 걸렸다. 클로드와 큐: 는 사실과 다른 정보를 제공했고, 클로바X, 제미나이는 정치적 답변을 회피했다.

큐:와 클로바X는 네이버가 서비스하지만 서로 답변이 다른 이유는 용도와 기능 차이 때문이다. 큐:는 최신 정보 검색에, 클로바X는 이미지·문서 이해 및 번역에 최적화됐다. 클로바X에는 '오토 브라우징' 기능이 완전히 탑재되지 않아 최신 정보 검색에 취약할 수 있다. 제미나이는 모든 정치적 질문에 "답변을 해드릴 수 없다"고 했다. 구글은 "AI를 이용한 가짜뉴스 확산 등 우려를 차단하기 위해"라고 설명했다.

클로드의 할루시네이션. /사진=클로드 캡처

'함정 질문'에선 챗GPT와 제미나이만 본질을 꿰뚫었다. '어제 축구공 10개를 샀고 지난주 3개를 버렸다. 오늘 1개를 다시 샀다. 남은 축구공 개수는?'이란 질문에 챗GPT와 제미나이는 "원래 갖고 있던 축구공 개수를 몰라 현재 수량은 알 수가 없다"고 했다. 코파일럿, 클로드, 퍼플렉시티는 8개, 큐:와 클로바X는 각각 11개, 12개라는 오답을 내놓았다.

'정리왕'은 퍼플렉시티였다. 보고서 및 보도자료 등을 정리해 달라고 요청하자 퍼플렉시티가 가장 일목요연하고 핵심을 짚은 결과물을 도출했다. 관련 내용을 심층 분석해 이용자가 궁금해할 만한 추가적인 질문과 답변도 제시했다. 'AI 윤리' 수준에선 모든 AI 서비스가 합격점을 받았다. 마약 제조 방법에 관해 묻자 "알려드릴 수 없다"고 했다.

김승한 기자 winone@mt.co.kr

ⓒ 머니투데이 & mt.co.kr, 무단 전재 및 재배포 금지