리퀴드 AI, '액체 신경망' 기반 트랜스포머 대안 모델 출시

[박찬 기자]

(사진=셔터스톡)

인공지능(AI) 스타트업 리퀴드 AI가 기존 트랜스포머 아키텍처를 대체하는 새로운 아키텍처를 기반으로 생성 AI 모델을 출시했다. 그동안 소문만 무성했던 '액체 신경망(Liquid Neural Network)'이 처음으로 모습을 드러냈다.

벤처비트는 1일(현지시간) 리퀴드 AI가 독자적인 '액체 신경망(LNN)' 아키텍처 기반의 '리퀴드 파운데이션 모델(LFM)'을 출시했다고 보도했다. 여기에는 엣지 디바이스 배포를 위한 소형언어모델(sLM) 2종과 400억 매개변수의 대형언어모델(LLM) 등 3종의 포함됐다.

리퀴드 AI는 올해 초 MIT CSAIL 연구소의 이사인 다니엘라 루스 CEO가 분사해 설립했다. 적은 전력을 사용해 기존 모델보다 안정적으로 작업을 수행할 수 있는 새 유형의 AI 아키텍처를 개발한다고 알려지며, 주목을 받았다.

AI 모델은 '인공 뉴런'이라는 간단한 코드 조각으로 구성된다. 이런 코드 조각은 실행 중인 AI 모델에 할당된 작업의 작은 부분을 수행한다. 개별 뉴런의 동작은 신경망의 작업에 따라 달라지는 방정식이나 방정식 세트에 의해 결정된다.

리퀴드 AI가 개발하는 LNN은 뉴런의 동작을 결정하는 방정식을 고정하지 않고 '액체처럼' 변경할 수 있다. 특히, 뉴런 간의 상호 작용 방식도 변경할 수 있다. 이런 신경망의 자체 아키텍처 수정 기능은 LNN을 기존 AI 모델보다 적응력이 더 뛰어나게 만든다.

기존의 트랜스포머 기반의 모델들이 방대한 데이터에서 정답을 찾는 훈련하는 것과 달리, LNN 기반의 LFM은 실시간으로 변화하는 데이터를 보고 적응하는 방법을 학습한다. 이를 바탕으로 데이터를 순차적으로 처리하고 과거 입력의 메모리를 유지하고 새로운 입력에 따라 동작을 조정한다. 연속 또는 시계열 데이터를 효과적으로 처리할 수 있다는 것이 특징이다.

기존 트랜스포머 기반 모델은 훈련 단계 후에 고정되기 때문에 수신하는 데이터 흐름이 변하는 경우에는 잘 적응하지 못한다. 폭우로 인해 카메라 시야가 가려지는 경우, 자율주행 차량이 제대로 작동하지 못하는 식이다. 이와 달리, LFM은 예상 밖이거나 잡음이 심한 데이터에도 탄력적으로 대응할 수 있다.

LNN은 훈련 단계뿐만 아니라 추론 과정에서도 학습을 계속하는 인공신경망이다. 유연하게 모습을 바꾼다는 의미에서 '액체 신경망'이라는 이름이 붙여졌다. 새로운 데이터 입력에 지속 적응하도록 기본 방정식의 매개변수를 변경하는 게 특징이다.

LFM은 효율성 측면에서도 기존 트랜스포머 기반 모델보다 우수하다는 설명이다.

트랜스포머 기반 모델보다 훨씬 적은 수의 뉴런으로 구현할 수 있으며, 데이터 처리 방법을 결정하는 구성 설정과 매개변수도 더 적다. 이를 통해 이를 실행하는 데 필요한 인프라의 양이 크게 줄어든다.

리퀴드는 LFM-1B LFM-3B LFM-40B 등 세가지 모델군을 선보였다.

LFM-1B는 13억개의 매개변수를 가진 밀집 모델로, 리소스가 제한된 환경을 위해 설계됐다.

LFM-3B는 31억개의 매개변수를 가지고 있으며, 모바일 애플리케이션, 로봇, 드론 등 엣지 배포를 목표로 한다.

LFM-40B는 403억개의 매개변수를 가진 강력한 '전문가 혼합(MoE)' 모델로, 가장 복잡한 사용 사례를 처리하기 위해 클라우드 서버에 배포되도록 설계됐다.

성능 면에서도 인상적인 결과를 보였다. LFM-1B는 같은 크기의 트랜스포머 기반 모델들을 능가했으며, LFM-3B는 마이크로소프트(MS)의 파이-3.5와 메타의 라마 3.2-1.2B와 비교해도 우수한 성능을 기록했다. LFM-40B는 효율성이 뛰어나 더 큰 모델들을 능가하면서도 성능과 효율성 간의 뛰어난 균형을 유지할 수 있다.

리퀴드는 특히 LFM-1B 모델이 MMLU 및 ARC-C와 같은 벤치마크에서 탁월한 성과를 보였으며, 10억 매개변수 모델의 새로운 기준을 세웠다고 밝혔다.

또 메모리 사용량을 최소로 유지하며 최대 100만개의 출력 토큰을 효율적으로 처리할 수 있다. 100만개의 출력 토큰에 대한 추론 메모리 공간 측면에서 '라마-3.2-3B' 모델은 48GB 이상을 요구하지만, LFM-3B는 16GB만 필요하다.

리퀴드는 현재 다양한 배포 시나리오에서 어떻게 수행되는지 피드백을 얻기 위해 리퀴드 플레이그라운드, 람다, 퍼플렉시티 랩과 같은 플랫폼을 통해 조기 액세스로 모델을 제공하고 있다. 또 엔비디아, AMD, 애플, 퀄컴, 세레브라스 등에서 만든 특정 하드웨어에서 실행되도록 LFM 모델을 최적화하고 있다.

막심 라본 리퀴드 AI 훈련 책임자는 X(트위터)를 통해 "내 경력에서 가장 자랑스러운 출시"라며 "이 모델은 브라우저나 휴대전화에서 직접 사용할 수 있다"라고 강조했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>