'다국어 소통' 강화하는 AI…더빙 입모양·말투도 언어에 맞춘다

AI 더빙 서비스 '팀버', 목소리·어감 자연스럽게 변환

구글 '제미나이' 기반 동시통역 서비스…69개 언어 지원

허드슨에이아이의 인공지능(AI) 더빙 서비스 '팀버'를 적용해 더빙한 유튜브 영상. 영어·일본어·스페인어로 더빙 됐다는 설명이 함께 게시됐다. (계향쓰 유튜브 채널의 쇼츠 갈무리)

(서울=뉴스1) 신은빈 기자 = 인공지능(AI) 기술이 다국어 소통 기능을 확대하면서 글로벌 이용자 간 언어 장벽이 사라지고 있다. 언어에 맞춰 입 모양과 말투를 모사하는 영상 더빙 기술도 출시가 코앞이다.

8일 정보기술(IT) 업계에 따르면 지난달 AI 스타트업 허드슨에이아이는 유튜브 크리에이터를 상대로 AI 더빙 서비스 '팀버'의 베타 버전을 출시했다. 한국어·영어·일본어·스페인어·포르투갈어·프랑스어·독일어를 지원하는데, 내달 정식 버전에서는 약 20개의 언어를 활용할 수 있을 전망이다.

허드슨에이아이는 자사의 음성 합성 모델 '액팅' TTS(음성 합성 기술)를 기반으로 팀버를 구현했다. 액팅 TTS는 영상 속 화자가 실제 외국어를 구사하듯 목소리, 말투, 비언어적 표현을 상황에 맞게 모사한다.

음성 톤과 속도는 조절할 수 있다. AI가 더빙한 음성이 실제 목소리와 다르거나 너무 빠르면 편집 툴로 수정하면 된다.

어감과 표현도 상황에 맞게 바꿀 수 있다. 예를 들어 "이거 맛있네요"를 영어로 더빙할 경우, 맥락에 맞게 "이츠 딜리셔스(It's delicious)"나 "이츠 야미(It's yummy)" 등 여러 표현을 적용하는 식이다. 신나는 기분이나 차분한 목소리를 반영해 감정 표현도 조절이 가능하다.

AI 립싱크 기술을 적용하면 화자의 입 모양까지 해당 외국어를 구사하는 것처럼 변한다. 이 기술은 이달 내 베타 버전에 업데이트될 예정이다.

허드슨에이아이의 AI 더빙 서비스 '팀버' 편집 화면 (허드슨에이아이 제공)

유튜브 크리에이터들은 팀버를 활용해 다국어로 더빙한 콘텐츠를 제작 중이다.

구독자 2330만 명을 보유한 글로벌 애니메이션 유튜버 '계향쓰'(GH'S)는 애니메이션 캐릭터 대사를 영어·스페인어·일본어로 더빙한 유튜브 쇼츠(짧은 동영상)를 제작했다. 유튜브 국가 설정을 조정하면 원하는 언어로 더빙된 영상을 볼 수 있다.

국내 유튜버 '침착맨'은 본인의 영상을 영어·일본어·중국어·스페인어·러시아어로 더빙한 샘플을 지난달 공개했다. 구독자들은 "목소리가 비슷한 게 신기하다", "진짜 자연스럽다"는 반응을 보였다.

구글은 최근 열린 'SK AI 서밋 2024' 기술 전시회에서 자사 생성형 AI '제미나이'를 적용한 동시통역 기술을 선보였다. 구글미트로 화상 통화 시 사용자가 설정한 언어로 자막을 표시한다. 이 기술은 69개국 언어를 지원한다.

이 기능은 안전성을 강화했다는 점에서 유튜브 자막 자동 생성 기능과 다르다. 국제회의 등의 동시통역 내용도 안전하게 보호할 수 있어 기업 측 수요가 예상된다.

유튜브도 자동 더빙 기능을 도입했다. 지금은 스페인어·포르투갈어·프랑스어·이탈리아어와 영어 간 상호 더빙만 지원한다. 한국을 포함한 다른 국가 언어 지원 계획은 나오지 않았으나 유튜브는 지원 대상을 늘릴 방침이다.

bean@news1.kr

Copyright ⓒ 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.