마음AI, LLM 경량화…"70B 모델, A100 2장으로"

마음AI가 파라미터(매개변수) 70B(700억) 규모 LLM(거대언어모델) '말 알바트로스(MAAL-Albatross)'를 엔비디아(NVIDIA) A100 GPU(그래픽처리장치) 2장으로 구동할 수 있도록 경량화했다고 10일 밝혔다.

마음AI는 "양자화 기술을 통해 LLM 파라미터를 4비트로 압축하면서도 기존의 뛰어난 성능은 유지했다"며 "최근 저전력 칩에 STT(음성인식)·TTS(음성합성)·LLM을 동시에 탑재하는 데 성공하며 온디바이스(On-device) AI 분야에서 가능성을 내비친 데 이어 온프레미스(On-premise) AI 분야에서의 경쟁력도 입증한 것"이라고 설명했다.

마음AI는 "경량화 기술을 통해 고객 기업들이 경제적이고 가벼운 온프레미스 LLM 서비스를 적극 활용할 수 있도록 지원하겠다"고 밝혔다.

성시호 기자 shsung@mt.co.kr

ⓒ 머니투데이 & mt.co.kr, 무단 전재 및 재배포 금지