카카오, AI 모델 '카나나-2' 4종 오픈소스로 공개

학습 단계 세분화⋯'에이전틱 AI' 구현 위한 성능도 대폭 향상
"엔비디아 A100 수준 범용 GPU서도 원활하게 구동⋯모델 실용성 강화"

[아이뉴스24 정유림 기자] 카카오는 자체 개발한 차세대 언어모델 '카나나-2'를 고도화하고 4종의 모델을 오픈소스로 추가 공개했다고 20일 밝혔다.

[사진=카카오]

카나나-2는 지난해 12월 오픈소스 플랫폼 허깅페이스에 공개한 언어 모델이다. 회사는 한 달 여 만에 성능을 대폭 개선한 4종의 모델을 오픈소스로 추가 공개했다.

이번에 공개한 4종의 모델은 고효율과 저비용 특징에 실질적인 '에이전틱 AI' 구현을 위한 도구 호출 능력을 강화했다. 특히 최신 초고가 인프라가 아닌 엔비디아 A100 수준의 범용 그래픽 처리 장치(GPU)에서도 원활하게 구동되도록 최적화해 중소기업과 학계 연구자도 비용 부담 없이 고성능 AI를 활용할 수 있도록 실용성을 높였다고 회사 측은 강조했다.

전문가 혼합(MoE) 아키텍처(구조)가 효율성의 핵심으로 꼽힌다. 전체 파라미터(매개변수)는 320억개 규모로 거대 모델의 높은 지능을 유지하면서도 실제 추론 시에는 상황에 맞는 30억개의 파라미터만 활성화해 연산 효율을 높였다. MoE 모델의 학습에 필수적인 여러 커널을 개발해 성능 손실 없이 학습 속도는 높이고 메모리 사용량은 크게 낮췄다.

데이터 학습 단계도 고도화했다. 카카오 관계자는 "사전 학습(Pre-training)과 사후 학습(Post-training) 사이에 미드 트레이닝(Mid-training) 단계를 신설하고 AI 모델이 새로운 정보를 배울 때 기존 지식을 잊는 치명적 망각 현상을 방지하기 위해 리플레이(Replay) 기법을 도입했다"며 "이로써 새로운 추론 능력을 추가하면서도 기존 한국어 구사와 일반 상식 능력을 안정적으로 유지할 수 있었다"고 설명했다.

이를 바탕으로 회사는 기본(Base) 모델부터 지시 이행(Instruct) 모델, 추론 특화(Thinking) 모델, 미드 트레이닝(Mid-training) 모델까지 총 4종의 모델을 허깅페이스에 추가로 공개했다. 연구 목적으로 활용도가 높은 미드 트레이닝 탐색용 기본 모델을 함께 제공해 오픈소스 생태계 기여도를 높였다.

단순 대화형 AI를 넘어 실질적인 업무 수행이 가능한 '에이전트 AI' 구현에 특화된 점을 주요 차별점으로 꼽았다. 고품질 멀티턴 도구 호출 데이터를 집중 학습시켜 지시 이행과 도구 호출 능력을 강화해 복잡한 이용자 지시를 정확히 이해하고 적절한 도구를 스스로 선택·호출할 수 있도록 했다는 것이다.

김병학 카카오 카나나 성과리더는 "새로워진 카나나-2는 '어떻게 하면 고가의 인프라 없이도 실용적인 에이전트 AI를 구현할 수 있을까'에 대해 치열하게 고민한 결과"라며 "보편적인 인프라 환경에서도 고효율을 내는 모델을 오픈소스로 공개해 국내 AI 연구 개발 생태계 발전과 기업의 AI 도입의 새로운 대안이 될 수 있기를 기대한다"고 밝혔다.

한편 카카오는 현재 MoE 구조를 기반으로 거대 스케일(규모)의 수천억 파라미터 모델인 '카나나-2-155b-a17b' 개발을 위한 학습을 진행 중이다. 향후 카카오는 세계 최상위 수준의 성능을 목표로 하는 파운데이션 모델 개발을 이어가고 더 복잡한 에이전트 시나리오에도 대응할 수 있는 고도화된 AI를 선보일 계획이다.

/정유림 기자(2yclever@inews24.com)

[ⓒ 아이뉴스24 무단전재 및 재배포 금지]