SKT 'A.X K1' 기술 베일 벗었다… "수학·코딩서 글로벌 딥시크 압도"

[김승현 기자] [포인트경제] SK텔레콤 정예팀은 매개변수 519B(5190억 개) 규모의 초거대 AI 모델 'A.X K1'의 기술 보고서를 오픈소스 플랫폼 허깅페이스에 공개했다고 7일 밝혔다. 이번 보고서에는 모델 개발 개요와 벤치마크 지표 비교가 포함됐다.

A.X K1은 4개월여의 짧은 개발 기간과 제한된 GPU 자원에도 불구하고 다양한 기술과 효율성을 극대화한 설계로 국내 최초 500B 이상 초거대 모델로 완성됐다. 주요 벤치마크에서 685B 규모의 딥시크-V3.1과 유사하거나 더 높은 성능을 기록했다.

SK텔레콤 정예팀은 1000개의 GPU 자원을 활용해 A.X K1 학습을 진행했다. 학습 기간과 GPU 규모를 바탕으로 가능한 총 학습량을 추산하고, 이를 근거로 최대 모델 크기를 스케일링 이론에 따라 설계했다. 그 결과 519B 규모 모델을 목표로 약 10조 개의 데이터를 투입해 학습했다. 개발 기간 동안 상시 1000개 이상의 GPU를 인공지능 훈련에 활용했다. 최적의 학습 연산량을 수학적으로 설계하고 관리해 투입된 GPU 자원 대비 효과를 극대화했다. 특히 정부 지원 없이 자체 GPU 조달만으로 목표를 달성했다.

모델 학습에는 웹 데이터, 코드, 이공계(STEM) 데이터, 추론 데이터 등 다양한 고품질 데이터를 활용했다. 한국어 특화 PDF 문서를 파싱하고 합성 데이터를 생성했으며, 난이도별 커리큘럼 학습 방식을 적용했다.

A.X K1은 수학과 코딩 등 초거대 인공지능 모델의 능력을 필요로 하는 분야에서 우수한 성능을 구현했다. 수학 분야 AIME25 벤치마크에서 89.8점을 기록해 딥시크-V3.1(88.4점) 대비 102% 수준의 성능을 보였다. AIME25는 미국 고등학생 수학 올림피아드 문제로 AI의 수학 실력을 평가한다.

코딩 분야에서는 LiveCodeBench에서 영어 기반 75.8점, 한국어 기반 73.1점을 기록했다. 이는 딥시크-V3.1의 영어 69.5점, 한국어 66.2점 대비 각각 109%, 110% 수준이다. LiveCodeBench는 AI가 실시간으로 출제되는 최신 코딩 문제를 해결하는 능력을 측정한다.

A.X K1은 519B 파라미터 중 33B만 선택적으로 활성화하는 전문가 혼합(MoE, Mixture of Expert) 구조를 채택해 효율성과 훈련 안정성을 확보했다. MoE는 여러 작은 전문가 모델이 모여 하나의 문제를 해결하는 방식으로, 입력 데이터에 따라 가장 적합한 전문가가 선택된다.

또한 A.X K1은 한 번에 128K 토큰의 긴 문맥을 처리할 수 있다. 이는 한국어 기준 약 10만 단어로, 소설책 한 권 또는 기업 연간 보고서 한 권을 동시에 검토할 수 있는 수준이다.

SK텔레콤은 연내 멀티모달 기능을 추가하고 조 단위 파라미터 규모로 모델을 확장할 계획이다.

<저작권자 Copyright ⓒ 포인트경제 무단전재 및 재배포 금지>