스태빌리티 AI, 휴대폰용 온디바이스 '음악 샘플 생성' 모델 출시

[박찬 기자] https://twitter.com/StabilityAI/status/1922675163411497094

스태빌리티 AI가 모바일 환경에서도 실행 가능한 초경량 음악 생성 인공지능(AI) 모델을 출시했다. 그러나 '수노'나 '유디오'와 같은 소비자용 음악을 만들어 주는 것이 아니라, 10초 미만의 음악 샘플을 만드는 용도다 .

스태빌리티 AI는 14일(현지시간) 온디바이스용 오디오 생성 AI 모델 '스테이블 오디오 오픈 스몰(Stable Audio Open Small)'을 오픈 소스로 출시했다.

이 모델은 모바일 칩셋 제조사 Arm의 협업 결과물이다. 3억4100만 매개변수에 불과한 소형모델로, 지난해 공개한 11억 매개변수의 오디오 생성 모델 '스테이블 오디오 오픈'을 Arm CPU에 최적화한 결과다.

사용자 텍스트 입력으로 최대 11초 길이의 스테레오 오디오 클립을 생성할 수 있으며, 휴대폰에서는 8초 미만의 시간에 결과를 출력한다.

용도도 음악 제작이나 사운드 디자인을 위한 드럼 비트나 악기 리프, 주변 소리 및 기타 오디오 샘플 등을 생성하는 것이다.

저작권 문제가 해결된 공개 음원 데이터셋으로 학습했다. 이를 통해 수노나 유디오처럼 저작권 침해 논란이 있는 AI 서비스들과 차별화를 꾀했다.

몇가지 제약이 있다. 출력이 짧아 완성된 노래나 멜로디를 생성하는 데 적합하지 않으며, 보컬도 지원하지 않는다. 또 영어 프롬프트만 지원하며, 훈련 데이터가 서구 음악에 편향돼 특정 장르에는 취약하다.

또 오픈 소스 모델이지만, 연간 매출 100만달러(약 14억원) 이상의 기업이 활용하려면 별도 엔터프라이즈 라이선스 구매가 필요하다.

허깅페이스에서 모델 가중치를 다운로드하고, 깃허브에서 코드에 액세스할 수 있다. 또 Arm 러닝 패스에서 Arm CPU에 모델 배포 방법을 확인할 수 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>