"수십만 대군 함성 만들어줘"… 생성AI가 음향효과까지 '뚝딱'

"성을 공격하는 수십만 대군(大軍)의 함성 소리를 만들어줘." 이렇게 텍스트를 입력하자 생동감 있는 음향효과(Sound Effects·SFX)가 '뚝딱' 만들어진다. 국내 스타트업 옵티마이저AI가 개발한 음향효과 인공지능(AI) 모델의 알파 버전에서 구현된 기술이다. 영화나 드라마, 게임 제작 등에 쓰이는 고품질의 음향효과 제작에는 막대한 비용이 드는 것으로 알려져 있다. 옵티마이저AI는 게임 개발자, 광고 영상 제작자 등 글로벌 핵심 사용자 700여 명을 대상으로 알파 버전 테스트를 진행했다. 음향효과를 제작하는 과정의 비용과 시간을 획기적으로 줄여준다는 점에서 호평을 받았다는 후문이다.

"레비, 성을 빼앗기는 건 절대 있어선 안 될 일이야." 화면에서 음성의 특징을 선택한 뒤 나이, 성별, 대사 등을 입력하자 AI가 이에 어울리게 만든 가상의 목소리가 생동감 있게 대사를 읽는다. 발화 속도, 음색, 높낮이 등도 자유자재로 조절이 가능하다. 하이브의 AI 음성 솔루션 자회사 수퍼톤이 개발해 올해 출시를 예고한 '스크린플레이'의 시현 모습이다.

생성형 AI가 창작자 생태계에 변화를 가져오고 있다. 게임, 광고, 영상 등 '킬러 지식재산권(IP)' 생산에서 AI가 핵심 도구로 떠오르면서다. 특히 텍스트와 이미지를 넘어 영상, 오디오 분야에서 기술 발전이 주목된다.

생성형 AI는 사용자와 자연어로 소통하며 스토리 개요, 보고서 등 텍스트부터 이미지, 동영상, 오디오와 같은 멀티모달 콘텐츠에 이르기까지 완전히 새로운 데이터를 생성할 수 있는 AI를 말한다. 올해는 AI가 텍스트 기반 채팅을 넘어 음성, 비디오까지 통달하는 멀티모달 모델로 완전히 대중화될 것으로 예상된다.

생성형 AI는 콘텐츠 생산의 여러 측면을 간소화해 글, 이미지(삽화·일러스트)는 물론이고 음향·특수 효과까지 쉽고 효율적으로 제작할 수 있는 환경을 만들고 있다. 유튜버 등 창작자 사이에서도 AI는 이제 선택이 아니라 필수가 된 분위기다.

예컨대 최근 유튜브 쇼츠의 AI 도구인 '드림트랙(Dream Track)'에 창작자들의 관심이 높다. 드림트랙은 아티스트 목소리로 최장 30초 길이의 사운드트랙을 생성할 수 있는 도구다.

데이터 및 분석 플랫폼 data.ai는 "2024년 모바일 시장에서 AI를 통해 다음 혁신의 물결이 일어날 것이고, 소비자의 콘텐츠 소비 방식은 더욱 확고해질 것"이라고 분석했다.

게임, 유튜브, 틱톡 영상 제작 과정에서 텍스트, 오디오, 비디오 등 모든 요소를 인식해 그에 적합한 콘텐츠를 만들어주는 서비스도 속속 등장하고 있다. 시장조사기관 마켓닷어스에 따르면 세계 AI 음원 생성 서비스 시장 규모는 2022년 2억2900만달러에서 2032년 26억6000만달러로 성장할 것으로 예상된다.

구글은 이달 초 사용자가 단어 몇 개만으로 음원을 생성할 수 있는 '뮤직FX(MusicFX)'를 업데이트했다. 뮤직FX는 텍스트 설명으로 모든 장르의 음원을 생성할 수 있는 구글 자체 AI 모델 '뮤직LM(MusicLM)'을 기반으로 한다. 지난해 구글은 뮤직LM을 대중에게 공개했다.

이용자 누구나 텍스트 한 줄로 분위기, 장르, 악기를 설정해 음원을 만들 수 있게 한다는 취지다. 뮤직LM은 28만시간 분량의 음향 데이터를 학습한 것으로 알려졌다.

메타는 공개 소스 기반의 AI 모델 '오디오 크래프트(Audio Craft)'로 맞불을 놨다. 팽창하는 오디오 AI 시장에서 구글을 겨냥한 행보로 풀이된다. 메타가 공개한 샘플 오디오에 따르면 해당 프로그램은 휘파람, 사이렌, 윙윙거리는 소리 등을 매우 자연스럽게 구현해냈다.

게임 업계에서는 게임 개발에 AI를 적용하는 방안을 단계적으로 실행 중이다. 생성형 AI를 활용하면 오디오·이미지 등 콘텐츠를 새롭게 거의 무제한으로 만들 수 있고, 게임 제작비용을 획기적으로 낮출 수 있다는 점에서 새로운 가능성을 엿보고 있다.

[황순민 기자]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]