[#Let's 스타트업] "용량 큰 초거대AI, 스마트폰 구동 지원"

'하루 70만달러(약 10억원) 이상.'

전문가들이 추산하는 챗GPT 운영비다. 대부분이 클라우드 서버를 돌리는 비용이다. 생성형 인공지능(AI) 등장이 세상을 깜짝 놀라게 했지만 아직까지 이를 활용한 버티컬 서비스 출시가 제한적인 데는 이처럼 막대한 비용이 작용한다는 평가다.

이 문제를 해결하겠다고 나선 국내 신생 기업이 있다. 포스텍에서 6년간 AI 경량화 기술을 연구한 이들이 모여 창업한 '스퀴즈비츠'다.

김형준 스퀴즈비츠 대표(사진)는 최근 매일경제와 만나 "학술적으로 많은 발전이 있었지만 처리 속도가 느리고 비용이 막대하게 들어 AI 서비스화에 한계가 있다는 지적이 제기돼왔다"며 "저희가 가진 기술로 물꼬를 터준다면 더 많은 분야에서 AI가 긍정적으로 작용할 수 있으리라 생각했다"고 말했다. 스퀴즈비츠는 양자화를 통해 AI를 압축하는 기술을 개발하고 있다. 32비트의 데이터를 그보다 단순한 8비트, 2비트, 1비트 단위로 가볍게 만들면서 모델 성능은 유지하는 기술이다. 쉽게 말해 32자릿수 연산을 더 작은 단위의 연산으로 간단하게 표현해 빠르게 계산하면서도 똑같은 성능을 내게 하는 원리다. 김 대표는 "현재 상용화된 연산기가 32비트나 8비트 전용이어서 기업이 8비트 이하로 경량화를 진행하지 않고 있다"며 "하지만 스퀴즈비츠는 4비트 이하로 양자화된 모델을 기존 하드웨어에서도 빠르게 연산할 소프트웨어 엔진까지 보유하고 있다"고 설명했다.

스퀴즈비츠는 초거대 AI 서비스화에 앞서 국내외 기업이 모델 경량화를 위해 반드시 찾는 플랫폼을 구축하겠다는 목표를 세우고 있다.

김 대표는 "장기적으로는 누구나 쉽게 클릭 몇 번으로 기본적인 AI 최적화와 경량화를 진행할 수 있는 개방형 플랫폼을 만들고자 한다"고 전했다.

[우수민 기자]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]