[AI리포터]
[디지털투데이 AI리포터] 알리바바가 인공지능(AI) 모델을 기존 대비 13배 작게 만들면서도 성능을 유지하는 혁신을 이뤘다.
14일(현지시간) 홍콩 사우스차이나모닝포스트(SMCP)에 따르면, 이는 새로운 '하이브리드 어텐션'(hybrid attention) 기술을 적용해 입력 데이터 처리 효율성을 극대화한 것이 핵심이다.
알리바바는 MIT와 엔비디아 연구진이 개발한 '게이트형 델타넷'(Gated DeltaNet) 방식을 도입해 입력 데이터를 정교하게 조정하고, 불필요한 정보를 제거해 비용을 절감했다. 이로 인해 큐원3-넥스트-80B-A3B(Qwen3-Next-80B-A3B) 모델은 기존 대비 90% 이상의 훈련 비용을 절감하면서도 성능을 유지하는 데 성공했다.
 |
[디지털투데이 AI리포터] 알리바바가 인공지능(AI) 모델을 기존 대비 13배 작게 만들면서도 성능을 유지하는 혁신을 이뤘다.
14일(현지시간) 홍콩 사우스차이나모닝포스트(SMCP)에 따르면, 이는 새로운 '하이브리드 어텐션'(hybrid attention) 기술을 적용해 입력 데이터 처리 효율성을 극대화한 것이 핵심이다.
알리바바는 MIT와 엔비디아 연구진이 개발한 '게이트형 델타넷'(Gated DeltaNet) 방식을 도입해 입력 데이터를 정교하게 조정하고, 불필요한 정보를 제거해 비용을 절감했다. 이로 인해 큐원3-넥스트-80B-A3B(Qwen3-Next-80B-A3B) 모델은 기존 대비 90% 이상의 훈련 비용을 절감하면서도 성능을 유지하는 데 성공했다.
또한, '혼합 전문가'(MoE) 아키텍처를 적용해 모델을 512개 서브 네트워크로 나누고, 특정 데이터에 맞춰 최적화하는 방식을 채택했다. AI 분석 전문 매체 아티피셜 애널리시스(Artificial Analysis)에 의하면, 알리바바는 이를 통해 30억개의 활성 파라미터만으로도 370억개 파라미터 모델과 동등한 성능을 확보할 수 있었다.
업계에서는 AI 모델의 효율성을 높이는 방향으로 기술이 진화하고 있으며, 알리바바의 이번 연구가 AI 최적화의 새로운 기준을 제시했다는 평가가 나온다. 향후 AI 모델은 크기를 줄이면서도 성능을 유지하는 방향으로 발전할 가능성이 크다.
<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>
이 기사의 카테고리는 언론사의 분류를 따릅니다.