이스트소프트, 자동 더빙 기능 ‘AI비디오 트랜슬레이터’ 출시

[디지털데일리 오병훈기자] 인공지능(AI) 서비스 전문 기업 이스트소프트가 영상 속 화자 음성을 복제하고 입모양까지 생성해 다국어 발화 영상으로 변환해 주는 서비스를 선보인다.

이스트소프트(대표 정상원)는 오토 더빙 서비스 ‘AI 비디오 트랜슬레이터(AI Video Translator)’를 출시했다고 13일 밝혔다.

AI 비디오 트랜슬레이터는 언어 장벽을 뛰어넘는 AI 커뮤니케이션 서비스로 이스트소프트 AI 휴먼 구독 서비스 페르소닷에이아이(PERSO.ai) 확장 기능으로 작동한다. 페르소닷에이아이에 회원가입만 하면 누구나 무료로 1분 분량 더빙 영상을 제작할 수 있다.

AI 비디오 트랜슬레이터는 화자 음성과 미세한 어감은 물론 감정선까지 살리고, 이에 더해 배경 소음과 조화까지 고려해 원본 영상에서 제공하는 메시지와 감동을 언어장벽 없이 그대로 경험할 수 있도록 돕는 데 있다.

시청자에게는 자막, 음성 더빙 없이 온전히 원본 영상에 집중할 수 있는 시청 환경을, 글로벌 콘텐츠 제작자는 혁신적인 영상 제작 환경을 구축할 수 있다.

AI 비디오 트랜슬레이터는 페르소닷에이아이 AI 휴먼 영상 생성 기능 ‘AI 스튜디오’에서 선보였던 고품질 음성 및 영상 생성 기술에 높은 변역 정확도까지 확보해 글로벌 경쟁사 대비 뛰어난 품질로 영상을 번역한다. 한국어를 포함해 영어, 스페인어, 프랑스어, 포르투갈어, 중국어, 일본어 등 29가지 국가 언어를 지원한다.

영상 번역 시간도 줄일 수 있다. 일반적인 영상 더빙 작업에 최소 하루 이상 시간과 수백만원 비용이 들지만, AI 비디오 트렌슬레이터는 불과 수분 만에 1만원 내외로 입모양까지 더빙에 맞춰 립싱크 영상을 생성해 업무 생산성을 높인다.

아울러 유튜브, 틱톡 등에서 생성한 영상 링크 입력만으로도 스크립트 생성과 번역을 지원하는 등 영상 플랫폼과 연동을 강화하고, 쾌적한 영상 공유 환경을 제공해 활용성을 극대화했다.

테크 유튜버와 진행한 베타 테스트 진행 결과, 해외 시청자를 위한 영상 제작에 필요했던 시간이 AI 비디오 트랜슬레이터 활용 시 최대 70%까지 단축할 수 있었다. 오토 더빙 서비스 AI 비디오 트랜슬레이터 이용으로 번역과 추가 편집 과정이 없어지며 시간이 대폭 줄어든 것이다.

베타 테스트는 지난 7월부터 약 3개월간 유튜버 및 기업 관계자 등 100여명을 대상으로 진행됐는데, 이 과정에서 영상 번역이 필요한 다양한 수요처도 확보했다. 이를 기반으로 여러 가지 프로젝트를 진행하고 있으며, 향후 글로벌 더빙 시장 내 비즈니스 모델로 고도화할 계획이다.

앞으로 이스트소프트는 AI 비디오 트랜슬레이터 탑재로 페르소닷에이아이의 글로벌 경쟁력을 강화한 만큼 글로벌 시장에서 헤이젠, 신세시아 등 주요 기업들과 본격적인 경쟁을 펼치고, 이와 동시에 산업 내 역할을 지속해서 강화해 가며 핵심 플레이어로 자리매김 할 방침이다.

정상원 이스트소프트 대표는 “음색과 감정을 보존해 다국어로 변환하는 AI 비디오 트랜슬레이터가 글로벌 콘텐츠 제작 환경에 혁신을 가져올 것”이라며 “앞으로 언어 제약 없는 정보 공유, 크리에이터와 기업의 해외 진출을 AI 비디오 트랜슬레이터로 적극 지원하며 글로벌 소통을 위한 플랫폼으로 역할을 확장하겠다”고 전했다.

한편, 이스트소프트 페르소닷에이아이는 AI휴먼, AI스튜디오, AI실시간 음성 등 영상 콘텐츠 분야 AI 기술 접목을 주력으로 삼는 기술 플랫폼이다. 이스트소프트는 페르소닷에이아이를 기반으로 글로벌 사업 확장에 집중하고, 글로벌 빅테크와 협업으로 인한 입지를 넓힐 방침이다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -