메타, 온디바이스 AI '모바일LLM' 정식 출시

[박찬 기자]

(사진=메타)

메타가 휴대폰이나 소형 장치용으로 설계된 효율적인 온디바이스 인공지능(AI) 모델 '모바일LLM(MobileLLM)' 제품군을 출시했다.

메타는 8일(현지시간) 온디바이스 애플리케이션을 위해 최적화된 소형언어모델(sLM) 모바일LLM-125M 모바일LLM-350M 모바일LLM-600M 모바일LLM-1B를 오픈 소스로 출시했다.

이들 모델은 1억2500만개에서 10억개에 이르는 매개변수를 갖추고 있으며, 제한적인 메모리와 에너지 용량의 모바일 하드웨어 내에서 작동하도록 최적화됐다.

메타는 10억개 미만의 적은 매개변수를 가진 모델을 최적화하기 위해 네트워크 깊이 조정, 임베딩 공유 및 가중치 공유 기술을 적용했다고 밝혔다.

일반적으로 매개변수가 작은 소형 모델의 경우, 모델의 레이어의 수를 늘리는 것이 성능을 향상하는 방법이다.

또 입력 임베딩 가중치를 출력연결 레이어 가중치로 재사용하는 임베딩 공유를 통해 효율적이고 컴팩트한 모델 아키텍처를 얻을 수 있으며, 공유 가중치를 캐시에 배치하고 이를 즉시 두번 계산하면 SRAM과 DRAM 간에 가중치를 전송할 필요가 없어 추론 실행 속도가 빨라진다.

이런 설계를 통해 모바일LLM은 소형에도 불구하고 벤치마크에서 뛰어난 성능을 기록했다. 125M와 250M 버전은 제로샷 작업에서 이전 최첨단(SOTA) 모델보다 2.7~4.3% 더 나은 성과를 낼 수 있었다. 한자릿수 개선은 사소해 보일 수 있지만, 경쟁이 치열한 언어 모델 개발 분야에서 의미 있는 진전이라는 평가다.

특히 350M 버전은 훨씬 더 큰 메타 '라마-2 7B' 모델과 API 호출 성능에서 동등한 수준을 기록했다. 이는 잘 설계된 작은 모델이 훨씬 적은 계산 리소스를 사용하면서도 유사한 성능을 제공할 수 있다는 설명이다.

현재 모바일LLM은 허깅페이스에서 액세스할 수 있으며, 비상업적 용도로 사용할 수 있다.

한편, 이번 모델은 지난 7월 논문으로 공개한 모델을 개발, 정식 출시한 것이다.

또 메타는 지난달 24일 '라마 3.2 1B' 및 '3B' 모델의 새로운 버전을 출시하는 등 온디바이스 AI에 무게를 싣고 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>