AMD의 AI 전략 읽는 세 가지 키워드 ‘반도체, 생태계, 통합 솔루션’ : zum 뉴스

AMD가 지난 13일 어드밴싱 AI 컨퍼런스를 열고 인공지능과 관련된 제품과 생태계를 소개했다. 이번 행사는 AMD의 AI 컴퓨팅 플랫폼을 소개하는 자리이지만 단순히 한 프로세서 기업의 제품과 로드맵 발표로 한정지을 수는 없다. AI 컴퓨팅은 이제 막 전통적인 컴퓨팅 방식을 벗어나 새로운 형태의 프로세서들과 네트워크, 소프트웨어, 개발 환경을 비롯해 완전한 통합 AI 컴퓨팅 플랫폼으로 진화중이기 때문이다.

AMD의 AI 관련 기술은 개방성을 바탕으로 성장해 왔다. AMD의 AI 컴퓨팅 환경은 ROCm 소프트웨어 스택을 비롯한 AMD GPU 컴퓨팅을 중심으로 한 업계의 수요를 담고 있다. AMD는 이 시장의 요구사항을 CPU와 GPU뿐 아니라 네트워크와 DPU, 그리고 시스템 랙과 소프트웨어까지 모두 파트너와 업계의 수요를 바탕으로 발전시켜왔기 때문에 이번 어드밴싱 AI 컨퍼런스의 발표는 사실상 AI 업계의 기술적인 흐름을 반영한다고 해석할 수 있다.

AMD

이제 인공지능은 단순한 성능, 연산량의 문제가 아니라 어디에나 존재하는 기반 기술이자 플랫폼이다. 그런 관점에서 AMD가 인공지능 산업에 접근하는 관점은 꽤 흥미롭다. AMD CEO인 리사 수 박사는 새로운 GPU를 중심으로 한 기술적인 발표 만큼이나 생태계를 강조했다.

AMD가 AI를 마주하는 접근법은 ‘개방형 생태계’를 중심으로 한다. 인공지능 처리에서 가장 중요한 역할을 맡는 GPU 컴퓨팅을 돌아보자. GPU가 게이밍과 그래픽 가속을 넘어 CPU가 버거워하는 병렬 연산에 쓸 수 있다는 가능성은 지난 2010년을 즈음해서 대두되기 시작했다. 먼저 시작한 것은 엔비디아의 CUDA였다. CUDA 프레임워크를 통해서 소프트웨어가 CPU와 더불어 GPU의 특정 연산을 처리할 수 있다는 담론을 꺼내 놓은 것이다.

AMD는 여기에 GPU 컴퓨팅에 대해서 더 넓은 그림을 그려냈다. 바로 이종 컴퓨팅(Heterogeneous Computing)이다. 소프트웨어가 처리할 일을 하나의 정책으로 CPU와 GPU에 나누어서 전체적인 컴퓨팅 경험을 높이겠다는 것이다. 이를 위해 ‘오픈CL’이라는 GPU 컴퓨팅 방법을 제시했다. 누구나 참여할 수 있는 개방형 기술이었다. AMD는 CPU와 GPU를 함께 개발하는 유일한 기업이고, PC, 모바일부터 데이터센터까지 아우르는 컴퓨팅 경험을 갖고 있다.

AMD

인공지능이 시장의 중심으로 넘어오는 과정에서도 이는 기술적으로 유리한 부분이다. AI 컴퓨팅이라고 하면 으레 GPU를 떠올리지만 실제로는 에이전트 AI를 비롯해 전통적인 고성능 CPU에 의지하는 비율도 빠르게 높아지고 있다. NPU나 DPU 등 AI 데이터를 처리하는 전문 기술들이 더해지면서 복합 형태의 컴퓨팅이 효율성을 높이는 것도 중요한 흐름이다.

여기에 GPU 컴퓨팅은 하나의 슈퍼 컴퓨팅으로 분류될 만큼 대규모의 분산 시스템으로 성장해 나가고 있다. 이를 긴밀하게 연결하는 네트워크 솔루션과 통합 소프트웨어 솔루션의 성장은 필수적이다. GPU 컴퓨팅을 위한 오픈CL은 ROCm으로 더 체계화됐다. AMD는 AI를 중심으로 하는 모든 컴퓨팅 요소들을 직접 개발하고, 유기적으로 통합하는 과정을 밟아오고 있다. 그리고 그 중심에는 생태계와 개방성이 놓여 있다는 것이 이번 컨퍼런스의 가장 큰 담론인 셈이다.

#MI350, 고성능, 고효율 트렌드 반영한 AI 컴퓨팅 솔루션

어드밴싱 AI 키노트의 주인공을 꼽자면 ‘인스팅트 MI350 시리즈’를 들 수 있다. 이는 GPU 기반의 AI 가속기다. MI350 시리즈는 ‘MI350X’와 ‘MI355X’ 등 특성에 따라 두 가지 제품으로 나뉘는데, 기본적으로 4세대 인스팅트 아키텍처와 3nm 공정으로 설계됐고, 10개의 칩렛 구조로 1850억 개 트랜지스터를 심었다. AMD는 HBM3E를 기반으로 한 대용량, 고대역폭 메모리에 집중했고, 특히 추론 성능을 중심에 두었다.

AMD

AI 컴퓨팅 부문에서는 수개월마다 새로운 요구사항이 등장하기 마련이다. 특히 최근의 주요 관심사는 추론 성능이다. 지난 몇 년 동안 업계는 어느 정도 수준의 모델 생성 성과를 이뤄냈다. 이 AI 모델이 이제 기대했던 역할을 처리하면서 제 자리를 찾아가는 것이 최근의 흐름이다. 제대로 역할을 한다는 것은 이제 단순한 과제나 흥미거리를 넘어 실제 활용이 가능하다는 의미이고, 곧 폭발적인 추론으로 이어지게 된다.

오픈AI를 비롯한 AI 기업은 늘어나는 토큰 처리량에 골머리를 앓고 있다. AMD의 4세대 인스팅트 아키텍처는 추론 처리에 특화되었고, MI350 시리즈 가속기는 추론 처리를 효과적으로 처리할 수 있는 명령어 세트, 메모리 대역폭, 다양한 데이터 포맷 처리, 그리고 모든 것을 아우르는 통합 시스템 구조를 중심으로 설계됐다. AMD는 새 가속기가 이전 세대 MI300 시리즈에 비해 4배 이상 높은 AI 컴퓨팅 성능을 갖추고 최대 288GB 메모리를 통해 병목 현상을 해소했다고 밝히기도 했다.

AMD

특히 AMD는 MI350 가속기를 통해 FP4와 FP6 등의 부동소수점 연산을 강조했다. FP4는 늘어나는 추론 수요에 대해 부동소수점 정밀도를 양보하면서 낮은 연산 성능으로 빠르게 추론하기 위해 많은 모델이 고민하는 처리 방법이다. AMD는 여기에 6비트 부동소수점 연산인 FP6을 더해 AI 업계 기준이 되고 있는 FP8에 비해 효율성을 높이고 FP4보다는 높은 정밀도를 갖도록 하고 있다. 그리고 MI350을 통해 이 처리 능력을 기존보다 2배 높게 끌어올렸다. 이와 함께 고정밀 연산인 FP64의 처리량도 2배로 늘려 정확도가 중요한 과학, 엔지니어링 분야에서도 효과를 내도록 했다.

AMD는 MI350이 LLama나 딥시크 등 일반적인 연산 환경에서도 코드 생성, 동시 번역, OCR 등 실시간 애플리케이션 환경에서 3~4배 높은 처리량을 보여준다고 밝혔다. 특히 초당 처리 토큰량이 3배 가량 늘었고, 이를 반대로 해석하면 달러당 최대 40% 더 많은 토큰을 생성할 수 있다.

#전력 소비 관점에서 바라보는 성능 향상

MI350를 비롯한 AMD의 GPU 가속기 성능 향상은 단순히 기존 제품들과 비교를 넘어 운영에 대한 실질적인 고민을 담고 있다. 바로 운영 효율성이다. 오라클을 비롯해 레드햇, 휴메인 등 키노트 무대에 오른 기업은 모두 입을 모아 전력에 대한 고민을 늘어 놓았다. 지속 가능성을 위한 재생에너지 뿐 아니라 소형 원자로까지 언급할 정도로 당장의 전력 문제는 심각한 수준에 이른다. 오픈AI의 CEO인 샘 올트먼은 키노트 말미에 “지난 1년 간의 폭발적인 사용량 증가로 GPU의 수요가 감당하기 어려울 만큼 늘었다”고 밝혔다. 그는 “이론적으로 지구상의 전력 소비량의 상당 부분이 AI 컴퓨팅을 위해 쓰여야 할 지도 모를 일”이라고 말하기도 했다. 단순 비용 문제를 넘어 운영에 필요할 만큼 충분한 전력을 확보하는 것 자체가 어려운 상황인 셈이다. 특히 국가 단위로 AI 자립도를 높이려는 수요가 늘어나면서 전 세계적으로 대형 AI 데이터센터가 고민되고 있는데, 충분한 컴퓨팅 파워를 확보하기 위해서는 그만큼의 전력 공급이 이뤄져야 하는 문제가 뒤따른다.

AMD

AMD의 FP6에 대한 성능 향상을 비롯해, MI350 시리즈의 추론 처리 특화 아키텍처는 이런 고민을 반영하는 것으로 볼 수 있다. 레드햇의 CTO인 크리스 라이트(Chris Wright)는 토큰 생산 비용을 낮추는 것이 가장 큰 고민거리라고 밝혔다. 그는 “달러당 토큰을 넘어 ‘달러당, 와트당 토큰’이라는 기준으로 바라보는 것이 옳다”고 말하기도 했는데, 결국 AI 컴퓨팅 성능의 요구사항을 두루 만족할 수 있는 새로운 환경이 필요하다는 이야기다.

AMD가 MI350 시리즈 가속기와 함께 강조한 기술인 분산 추론은 이런 업계의 고민을 담고 있다. 흔히 대규모 언어 모델의 추론 과정에서는 프리필(Prefill)과 디코딩(Decoding)의 두 단계의 연산이 많은 시스템 자원을 필요로 한다. 일반적으로는 이 프로세스를 하나의 파이프라인으로 구성해서 단일 GPU에서 처리하도록 설계한다. 하지만 이를 나누어 처리하는 분산 추론 환경을 구성하면 기본적인 처리 속도가 높아지는 것은 물론이고, 어느 한 쪽에 연산이 몰려도 이를 유연하게 처리할 수 있기 때문에 서비스 전체의 병목을 줄일 수 있다. 가속기의 직접적인 성능 뿐 아니라 시스템 단위의 가상화와 분산 처리가 AI 컴퓨팅 환경에도 중요하게 반영되기 시작한다고 볼 수 있다.

AMD

물론 GPU 가속기의 성능 향상도 중요하다. AMD는 MI350의 출시와 함께 내년에 등장할 MI400 시리즈 가속기도 함께 공개했다. 반도체와 소프트웨어, 시스템 전반의 기술과 경험을 반영한 통합 AI 랙 플랫폼을 지향하는 시스템이다. HBM4 메모리로 대역폭을 획기적으로 높이면서도 대규모의 랙 시스템이 하나의 대형 컴퓨팅 엔진처럼 단순하게 작동하는 것을 특징으로 소개했다. 최대 72개 GPU가 하나의 랙으로 구성되고, 432GB 메모리는 초당 19.6TB의 대역폭으로 작동한다. FP4 연산에서 40PFlops의 처리량을 목표로 한다. 리사 수 CEO는 MI350에 비해 최대 10배 더 높은 성능을 낼 수 있다고 밝혔다.

장기적으로 AMD는 지난 2024년부터 2030년까지 랙 단위의 에너지 효율을 20배 높일 것이라고 밝히기도 했다. 이는 같은 전력, 같은 상면 공간에서 20배 높은 컴퓨팅 성능을 제시한다는 뜻이지만 반대로 생각하면 같은 일을 처리하는 데에 전력 소비를 95% 줄이는 효과도 기대할 수 있다. 현재 275개의 랙이 필요한 AI 환경이 1개 랙에서 처리된다는 의미로도 읽힌다.

#생태계, 커뮤니티 중요, AI와 개방성 강조

인공지능 컴퓨팅의 현실적인 과제 중 하나는 소프트웨어 개발 환경이다. 사실상 AMD가 가장 중요하게 여기는 부분이기도 하다. AI 컴퓨팅은 CPU에 접근하는 방법을 기준으로 플랫폼을 결정하곤 한다. AMD의 AI 수석 부사장인 밤시 보파나(Vamsi Bopanna)는 “모든 사람이 어디에서나 AI 혁신을 누릴 수 있도록 개방적이고 확장 가능한 소프트웨어 플랫폼이 필요하다”며 ROCm의 비전을 설명하기도 했다.

AMD는 ROCm7을 공개하며 새로운 개방형 소프트웨어 플랫폼의 가능성을 강조했다. AMD는 기본적으로 하드웨어에서 강조하는 추론 역량 향상을 소프트웨어적인 측면에서도 반영했고, 새로운 모델에 끊임없는 최적화가 이어진다고 밝혔다. 180만 개 이상의 허깅페이스 모델을 곧바로 실행할 수 있다는 발표도 나왔다.

개발자와 데이터 과학자가 MI350을 비롯한 인스팅트 가속기의 능력을 더 쉽고 효과적으로 쓸 수 있도록 돕는 교육과 기술지원, 그리고 해커톤과 밋업 등 개발 커뮤니티에 대한 강력한 지원도 약속했다. 사실상 인스팅트 가속기에 직접 접근하는 사람이 어렵지 않게 원하는 것을 이룰 수 있도록 돕는 과정은 매우 중요하다. AMD가 생태계를 강조하고, 개방형 플랫폼을 언급하는 것도 바로 이런 업계의 수요를 바탕으로 접근성을 높이려는 전략의 한 부분이다.

이를 잘 드러내는 것이 ‘AMD 개발자 클라우드’다. 당장 인프라에 접근하지 않아도 클라우드를 통해서 AMD의 GPU에 접근해 ROCm 기반 개발과 테스트를 할 수 있는 서비스다. 현재 MI300X를 가상으로 1개, 혹은 8개 할당할 수 있고, ROCm6 뿐 아니라 7도 곧바로 적용해볼 수 있다.

또한 클라우드 뿐 아니라 라이젠 기반 노트북과 워크스테이션에서도 직접 개발할 수 있는 환경을 갖춰 클라우드에서 클라이언트까지 일관된 환경에서 개발할 수 있는 토대를 마련했다.

AMD

AMD의 AI 전략은 철저히 개방성에 중심을 두고 있다. 리사 수 박사는 “AI의 발전은 이전까지의 그 어떤 것과도 비교할 수 없을 만큼 빠르게 이어지고 있다”며 “이 성장은 ‘AI 생태계’로 부르는 커뮤니티가 함께 하는 여정이고, 어떤 한 기업이나 폐쇄된 기술을 통해서 완성되지 않을 것”이라고 말했다. 개방성과 폐쇄성은 각각의 장단점이 있기 때문에 기술 초기 단계에서 늘 뜨거운 이슈를 낳는다.

초기 시장의 성장은 특정 기술의 주도를 바탕으로 이뤄지지만 그 대중화와 발전에는 개방성이 뒤따르는 것이 IT 업계의 흐름 중 하나다. 특히 그 역할과 요구사항, 특성 등이 모두 제각각인 AI 컴퓨팅 환경은 생각보다 복잡하게 구성된다. 시장의 기업이 직접 필요성을 바탕으로 기술의 구성원이 되면서 성장한다는 AMD의 전략은 결국 컴퓨팅 파워와 전력의 부족이라는 아픈 손가락을 바탕으로 한층 더 발전하는 모양새다. AMD는 해법으로 반도체와 소프트웨어, 생태계, 커뮤니티를 제시하고 있다.

현재를 가능하게 하고, 내일의 혁신을 실현하는 AMD(NASDAQ: AMD)에 대한 더욱 자세한 정보는 웹사이트, 블로그, 링크드인(LinkedIn) 및 엑스(X)를 통해 확인할 수 있습니다.

이 기사의 카테고리는 언론사의 분류를 따릅니다.