네이버 “GPT-4o 비켜”, 영화 ‘Her’처럼 말하는 AI 시연

스피치X, 새 음성AI 개발
“이미지 AI는 오픈AI 제쳐”
초중고 검정고시 시험서
문제 이미지 올려주면
84% 확률로 정답 풀어내

성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄. 2024.2.8. [이승환기자]

네이버가 클로바 공식 사이트의 기술 블로그를 통해서 생성형 AI 기반의 음성 합성 기술을 22일 공개했다. 또 네이버의 대화형 AI 에이전트 클로바X(CLOVA X)에 시각 정보 처리 능력을 새롭게 추가한다고 발표했다. 멀티모달(Multimodal) AI를 업데이트해, 기술 경쟁력을 갖추고 주가를 부양하겠다는 메시지다.

22일 네이버는 클로바 공식 사이트의 기술 블로그를 통해 하이퍼클로바X 기반 음성 AI 기술을 공개했다. 종전 음성 인식, 음성 합성 기술보다 한층 발전한 모델이다. 대형 언어 모델(LLM, Large Language Model) 특징인 뛰어난 문맥 이해 및 지시문 해석 능력을 활용, 언어 구조 및 발음 정확도 개선은 물론 감정 표현까지 더한 자연스러운 대화가 가능하다.

네이버는 “오픈AI가 5월 공개한 GPT-4o (옴니) 모델처럼 텍스트뿐 아니라 이미지, 음성 등 다양한 형태의 데이터를 동시에 처리할 수 있는 능력을 갖추고 있다”면서 “이제는 AI가 더 복합적인 방식으로 인간과 상호작용할 수 있으며 음성과 비전, 텍스트를 결합한 새로운 형태의 응용 프로그램을 다양한 영역에서 활용할 수 있을 것으로 기대한다”고 말했다.

네이버가 클로바 공식 사이트의 기술 블로그를 통해서 생성형 AI 기반의 음성 합성 기술을 22일 공개했다.

해당 기술은 네이버의 최신 대형 언어 모델(LLM, Large Language Model)인 하이퍼클로바X(HyperCLOVA X)와 범용 음성 대화 모델(USDM, Universal Speech Dialog Model)을 결합한 시스템이다. 이름하여 스피치X(Speech X)다. 네이버는 “음성을 이해하고 처리하는 기능을 별도의 모듈로 나누지 않고 하나의 모델에서 모두 해결할 수 있게 해준다”면서 “하이퍼클로바X의 강력한 문맥 이해력과 지시문 처리 능력을 음성 기능과 통합해, 음성 인식(사람의 말을 텍스트로 변환)과 음성 합성(텍스트를 말로 변환)을 하나의 시스템에서 처리할 수 있다”고 말했다.

네이버가 예시를 통해 보여준 시연은, “40대 여성이 당황한 감정으로 혼란스럽게 발화한다”고 입력할 경우, 이를 생동감 있게 말하는 사례다. 네이버는 AI 음성 기록 클로바노트, AI 안부전화 클로바 케어콜, AI 음성 합성 클로바더빙 등 다양한 음성 AI 서비스로 기술 경쟁력을 증명한 바 있어, 향후 음성 멀티모달 LLM 기술로 더 편리한 서비스를 제공한다는 계획이다. 실제 네이버는 기술 블로그에서 실시간 음성 번역, 언어 학습, 상담 등 음성 멀티모달 LLM의 다양한 서비스 접목 가능성을 제시했다.

성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 “거대 언어 모델로 출발한 하이퍼클로바X는 이미지 이해 능력을 더한 거대 시각 언어 모델(Large Vision Language Model), 나아가 음성 멀티모달 언어 모델로 발전하고 있다”며 “하이퍼클로바X의 발전된 능력은 대화형 AI 에이전트 클로바X를 비롯한 여러 네이버 서비스에 도입해 새로운 사용자 가치를 창출하고, 기업용 AI 솔루션으로도 제공하며 하이퍼클로바X 생태계를 더욱 확장해나갈 것”이라고 말했다.

네이버의 대화형 AI 에이전트 클로바X(CLOVA X)에 시각 정보 처리 능력을 새롭게 추가한다고 발표했다.

한편 네이버는 클로바X의 이미지 이해 기능을 업데이트했다. 사용자들은 앞으로 클로바X 대화창에 업로드한 이미지에서 추출된 정보와 입력한 질의를 바탕으로 AI와 대화할 수 있다. 클로바X는 사진 속 현상을 묘사하거나 상황을 추론하는 등 다양한 지시를 수행할 수 있다. 예를 들어 이미지나 그림 형식으로 되어 있는 표, 그래프를 클로바X가 이해하고 분석하는 것이 가능하다. 기존의 클로바X가 논리적 글쓰기, 코드 작성, 번역 등의 작업에 활발히 사용된 것에서 더 나아가, 이미지 이해 능력을 기반으로 개인의 생산성 향상 도구로서 활용 범위가 한층 넓어질 것으로 보인다.

네이버는 우수한 AI 기반 문서 처리 및 문자 인식 기술 노하우와 다양한 분야 지식을 갖춘 거대 언어 모델(Large Language Model, LLM)인 하이퍼클로바X가 결합해 더 정확하고 신뢰성 있는 서비스를 제공할 수 있다. 예를 들어 대한민국 초·중·고등학교 검정고시 총 1,480개 문항을 AI 모델에 이미지 형태로 입력하고 문제를 풀게 한 결과, 클로바X는 약 84%의 정답률을 기록하며 오픈AI GPT-4o의 78%보다 높은 정답률을 보였다는 것이 네이버의 설명이다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]