KT 초거대AI ‘믿음’의 학습은 엔비디아 플랫폼 위에서

KT 초거대 AI 모델 구축에 엔비디아 플랫폼 채택

엔비디아 네모 프레임워크 활용

파운데이션 모델 학습 시간 최소화

서비스(추론)은 리벨리온 NPU로

[이데일리 김현아 기자]글로벌 그래픽처리장치(GPU) 업체 엔비디아가 ‘KT가 엔비디아 DGX 슈퍼팟(NVIDIA DGX SuperPOD) 플랫폼을 기반으로 초거대 AI 모델 ‘믿음(Mi:dm)’을 구축했다’고 16일 소개했다.

그래픽=엔비디아

어떤 내용인데?

KT의 초거대AI ‘믿음’은 조(兆)단위 데이터의 사전 학습을 완료한 자체 파운데이션 모델이다. 설계된 목적 외 다양한 과제에 대한 답변도 생성할 수 있다. 또한 목적에 따라 개별의 데이터 수집, 학습, 추론이 필요했던 기존 모델과 달리, 하나의 모델로 여러 업무를 동시에 수행한다.

그런데 이는 엔비디아 ‘DGX 슈퍼팟 플랫폼’을 기반으로 개발됐다. 데이터를 학습하고 연산할 때 엔디비아의 GPU는 물론 엔비디아 네모 프레임워크(NeMo Framework)가 쓰인 것이다.

엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 제품군에 포함된 네모 프레임워크는 데이터 처리, 학습, 평가, 생성형 AI 모델 추론 등 LLM 파이프라인 전반에 걸친 기능을 한다.

엔비디아 네모는 대규모로 LLM을 신속하게 학습, 사용자 맞춤화, 배포함으로써 투자수익률(ROI)을 향상시킨다. 아울러 멀티 노드와 멀티 GPU 학습으로 처리량을 극대화해 LLM 학습 시간도 최소화한다. 엔비디아는 KT와 협력해 최적의 3D 병렬처리(parallelism)를 찾아 초거대AI 믿음 학습에 사용되는 계산 처리량을 극대화했다.

믿음은 효율적 미세학습(PEFT, Parameter Efficient Fine-Tuning) 방식을 통한 맞춤화 서비스도 지원하는데, 여기에도 엔비디아 기술이 녹아 있다.

엔비디아 측은 “이 기술 덕분에 사전 학습된 네트워크의 원래 매개변수를 대부분 동결한 채 소수의 가중치만 추가로 학습해 기업에 특정 작업과 도메인 맞춤형 AI를 제공할 수 있게 됐다”면서 “엔비디아는 믿음 구축에 LoRA 등 다양한 미세학습 방법을 비교 분석해 구현했다. 해당 미세학습 방법은 네모 프레임워크와 텐서RT-LLM(TensorRT-LLM) 소프트웨어에서 지원된다”고 설명했다.

텐서RT-LLM은 엔비디아 GPU상에서 최적의 LLM 추론 성능을 제공하는 솔루션이다. 엔비디아는 KT와 함께 향후 모델의 메모리 소요량을 8분의 1크기로 줄일 수 있는 솔루션을 제공할 예정이다.

엔비디아와는 학습, 리벨리온과는 추론(서비스)

한편 KT의 ‘믿음’은 경량 모델부터 초대형 모델에 이르기까지 기업 규모와 사용 목적에 맞게 완전 맞춤형(Full Fine-Tuning)으로 사용 가능하다.

또한 AI 풀스택을 통해 KT클라우드와 함께 믿음의 기업전용 AI 믿음 클라우드팜(Mi:dm CloudFarm)을 패키지로 제공한다.

이를 통해 기업들은 별도 개발과 학습 인프라가 없어도 합리적인 비용으로 초거대 AI를 활용한 서비스를 개발할 수 있다.

그런데, KT는 학습 솔루션은 엔비디아 것을 추론(서비스) 영역은 한국 스타트업 리벨리온 AI반도체(NPU)를 썼다. 추론 비용을 기존 대비 50% 절감한 리벨리온(Rebellions)의 NPU 인프라 서비스를 제공하는 것이다.

KT는 지난 10월 31일 믿음 출시와 함께 수요 기업들이 사용 신청을 할 수 있도록 초거대 AI 믿음 공식 웹사이트를 오픈했다. 신청 기업들은 전문 컨설팅을 통해 사용 협의를 진행할 수 있다.