AI칩 부족에 sLLM 급부상

페이스북 운영사인 메타와 인텔 연구소 인텔랩이 소형언어모델(sLLM)을 잇달아 내놓는다. 인공지능(AI) 개발 열기는 뜨거운 데 반해 이에 필요한 반도체가 부족하자 학습·추론 비용이 10분의 1 수준인 sLLM에 대한 수요가 급증하고 있다.

9일(현지시간) 더인포메이션은 메타가 이르면 다음주에 라마3 모델의 sLLM 버전 2종을 출시한다고 보도했다. 라마는 메타가 개발한 개방형 AI 파운데이션 모델로, 기업들은 이를 활용해 자체 AI 서비스를 만들 수 있다. 메타는 작년 7월 라마2를 론칭한 데 이어 올 7월 라마3를 발표한다. 라마3 대형 버전은 인간 두뇌의 시냅스에 해당하는 파라미터 수가 1400억개로 챗GPT처럼 문장과 이미지를 자유자재로 생성할 수 있는 것으로 알려졌다. 이에 앞서 소형 버전을 내놓는 것이다. 더인포메이션은 "소형 모델은 일반적으로 대형 모델보다 저렴하고 실행 속도가 빠르다"면서 "대형 모델을 실행하는 데 드는 비용을 고려할 때 가치가 높아지고 있다"고 말했다.

인텔랩은 구글이 선보인 젬마(Gemma)를 개량한 모델인 라바-젬마(LLaVA-Gemma)를 논문을 통해 공개했다. 문장을 생성하고 이미지를 이해하는 것이 특징이다. 인텔랩은 "인텔 AI 가속기인 가우디2 8대를 활용했을 때 데이터를 학습하는 데 짧게는 4시간이면 충분했다"고 설명했다. 오픈AI에 통 크게 투자한 마이크로소프트(MS) 역시 작년 12월 '파이2(Phi-2)'를 출시했다. MS는 당시 "파이2는 27억개 파라미터만 활용하지만 최대 25배 더 큰 모델과 동일한 성능을 낸다"면서 "랩톱이나 모바일에서도 충분히 구동할 수 있을 정도"라고 강조했다. 구글 또한 제미나이 소형 버전인 '젬마'를 내놓은 상태다. 젬마는 20억·70억개 파라미터 두 종이며, 개방형 모델로 출시했다.

프랑스 스타트업인 미스트랄도 sLLM을 공개했다. 미스트랄 파라미터 수는 70억개에 불과하다. 특히 영어뿐 아니라 프랑스어, 이탈리아어, 독일어, 스페인어를 지원한다. 국내에서는 스타트업을 중심으로 sLLM 개발이 잇따르고 있다. 스캐터랩은 경량화 AI인 핑퐁-1을 작년 11월에 내놓았고, 솔트룩스는 파라미터 70억개 모델을 선보였으며, 스켈터랩 역시 자체 sLLM을 준비하고 있다.

소형 AI가 뜨고 있는 까닭은 AI 개발과 서비스에 막대한 비용이 들기 때문이다. 대규모언어모델(LLM)은 파라미터가 1000억개 이상으로 추론 성능이 탁월한 데 반해 비용도 많이 든다. 반면 sLLM은 추론 성능은 이보다 낮지만 비용이 적게 드는 장점이 있다.

sLLM(소형언어모델)

인간 두뇌의 시냅스에 해당하는 파라미터 수가 수십억 개에 불과한 AI 모델. 범용성은 낮지만 추론 학습 비용이 적게 든다.

[이상덕 기자]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]