중국서 'AI용 메모리 OS' 개발..."오픈AI 메모리보다 성능 159% 앞서"

[박찬 기자]

(사진=셔터스톡)

대형언어모델(LLM)의 한계로 지적된 '기억력' 문제를 해결하기 위한 새로운 형태의 메모리 운영체제(OS)가 등장했다. 기존 LLM은 대화가 종료되면 대부분의 정보가 사라지고, 다음 대화에서 과거의 맥락이나 사용자 취향을 기억하지 못하는 문제를 안고 있었다.

중국 상하이교통대학교와 저장대학교의 연구진은 8일(현지시간) 인공지능(AI) 모델의 메모리를 CPU나 디스크처럼 중앙 통제 가능한 자원으로 취급하는 세계 최초의 메모리 OS '멤OS(MemOS)'에 관한 논문을 아카이브에 게재했다.

멤OS는 기존 운영 체제가 CPU나 저장장치를 관리하듯, AI 시스템에서 '메모리'를 핵심 자원으로 관리하는 방식이다.

연구진은 "LLM은 구조적으로 체계적인 메모리 관리 기능이 없어, 긴 맥락의 추론과 지속적인 개인화, 지식 일관성 구현 등에 한계가 있다"라고 지적했다. 멤OS는 메모리의 표현, 스케줄링, 진화를 프레임워크 하나로 통합, AI를 '기억하는 존재'로 진화하는 첫걸음이 될 수 있다는 설명이다.

기존 AI는 대부분 고정 매개변수와 짧은 문맥(context) 내 정보만을 기반으로 작동한다. 이는 사용자의 선호나 대화 내역 등을 장기적으로 기억하거나 반영하는 데 한계를 보인다.

검색 증강 생성(RAG)처럼 외부 정보를 끌어오는 방식을 도입한 사례도 있지만, 이는 일시적이고 상태 정보를 저장하지 않아 진정한 기억으로 보기 어렵다.

대신, 멤OS는 텍스트 기반 지식과 모델 매개변수, 활성화 상태 등 다양한 기억 요소를 '멤큐브(MemCube)'라는 단위로 구성해 저장하고 이동하고 통합할 수 있도록 설계됐다. 이를 통해 LLM은 학습 비용을 줄이면서도 다양한 시간대의 지식을 효율적으로 활용할 수 있으며, 개인화된 AI 모델로 진화할 수 있는 기반을 갖추게 된다는 설명이다.

연구진은 "기존 메모리 시스템은 학습 지식을 얼마나 많이 보유하는지가 핵심이었다면, 멤OS는 경험을 구조화된 기억으로 변환하고 반복적으로 활용할 수 있다는 것이 차별점"이라고 설명했다.

메모리 기반 추론 성능을 평가하는 '로코모' 벤치마크 테스트에서 오픈AI, 랭멤, 제프 등의 기존 메모리 시스템을 모두 앞질렀다.

특히, 시간 기반 추론(multi-hop & temporal reasoning) 분야에서 최대 159% 성능이 향상했고, 최초 토큰 생성 시간 지연(latency)은 최대 94% 단축되는 등 뚜렷한 효율 개선을 보였다.

이런 결과는 지금까지 AI 성능을 가로막던 중요 문제가 '메모리 아키텍처'였다는 것을 보여준다는 설명이다.

멤OS의 또 다른 특징은 플랫폼 간 메모리 이식이 가능하다는 점이다. 한 플랫폼에서 생성한 고객 데이터나 설정 정보를 다른 AI 시스템으로 옮겨 사용할 수 있어, 기존처럼 사용자 맥락이 다른 앱에서 통하지 않는 '메모리 섬(memory island)' 문제를 해결한다.

연구진은 앞으로 전문가가 구성한 전문 지식을 '기억 모듈' 형태로 판매하는 '메모리 마켓플레이스'도 구상 중이다. 예를 들어, 숙련의가 희귀 질환의 진단 방식이나 주요 질문 흐름을 멤큐브 형태로 구조화하면, 의료 AI가 이 모듈을 설치해 학습에 활용할 수 있다. 이는 전문 지식의 유통 구조 자체를 변화시킬 수 있는 모델로 평가된다.

멤OS는 우선 리눅스 기반에서 지원되며, 윈도우와 맥OS 지원도 예정돼 있다. 허깅페이스, 오픈AI 등 주요 AI 플랫폼과의 통합도 가능하다. 연구진은 전체 코드를 깃허브에 오픈소스로 공개했다.

오픈AI, 앤트로픽, 구글 등 주요 기업들도 장기 기억 기능을 도입하고 있으며, 이를 개인화된 AI 비서의 핵심 기능으로 보고 있다. 하지만, 기능이 제한적이고 체계적인 통합 시스템이라고 보기에는 미흡하다는 지적도 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>