“AI 칩과 고성능 메모리 모두 부족” 관련 업계, 생산량 증대에 박차

기업의 생성형 AI 도입이 급증하면서 이런 성장을 뒷받침하는 인프라가 공급과 수요의 병목현상에 직면해 있다.

IDC 조사에 따르면 전 세계 기업의 66%가 향후 18개월 동안 생성형 AI에 투자할 것이라고 답했다. 생성형 AI 도입을 추진하는 기업은 2024년에 IT 지출이 증가할 것이며, 이 가운데 인프라 비용이 46%를 차지할 것으로 예상했다. 문제는 이런 AI 인프라를 구축하는 데 필요한 핵심 하드웨어의 공급이 부족하다는 점이다.

ⓒ Getty Images Bank

지난 2년 동안 AI 채택 속도가 빨라지면서 관련 업계는 일반적으로 생성형 AI 및 AI의 프로세스 집약적인 작업을 실행하는 데 필요한 고성능 칩을 공급하는 데 어려움을 겪고 있다. 펜실베이니아 대학의 컴퓨터 및 정보과학과 교수인 벤자민 리에 따르면, 프로세서 부족과 관련한 주요 관심사는 엔비디아 GPU에 대한 폭발적인 수요와 AMD, 인텔, 대형 클라우드 업체 등의 다른 칩 업체가 내놓은 대안이었다.

벤자민 리 교수는 "고대역폭 메모리 칩의 폭발적인 수요에 대한 관심은 훨씬 적었는데, 이들 메모리 칩은 주로 SK하이닉스가 운영하는 한국 파운드리에서 생산된다"고 지적했다.

지난주 SK하이닉스는 AI 요구 사항을 처리하기 위해 고성능 GPU와 함께 필요한 고대역폭 메모리(HBM) 제품이 높은 수요로 인해 2025년까지 거의 예약이 완료된 상태라고 밝혔다. 시장조사업체 트렌드포스에 따르면, 최근 AI 칩에 대한 상당한 프리미엄과 수요 증가로 인해 HBM의 가격도 5~10% 상승했다.

업계 최대 용량인 24GB 메모리를 탑재한 SK하이닉스의 HBM3 제품은 12개의 DRAM 칩을 적층해 고용량, 고성능을 구현한 것이 특징이다. ⓒ SK하이닉스

트렌드포스 수석 리서치 부사장 에이브릴 우는 2024년부터 HBM이 전체 DRAM 시장 가치의 20% 이상을 차지할 것이며, 2025년에는 30%를 넘어설 것으로 전망했다. 에이브릴 우는 보고서에서 "모든 주요 공급업체가 고성능 HBM에 대한 잠재고객 검증을 통과한 것은 아니기 때문에 주요 구매자는 안정적이고 품질 좋은 공급을 확보하기 위해 더 높은 가격을 받아들일 수밖에 없다"고 설명했다.

GPU에 고대역폭 메모리가 필요한 이유

HBM은 GPU가 처리하는 데이터를 공급하는 역할을 한다. HBM 칩이 없으면 데이터센터 서버의 메모리 시스템이 GPU와 같은 고성능 프로세서를 따라잡을 수 없다. 그렇지 않으면, 고성능 GPU가 데이터 전송을 기다리며 유휴 상태로 있는 경우가 많다는 것.

벤자민 리 교수는 "AI 연산을 위해 GPU를 구입하는 사람이라면 누구나 고대역폭 메모리가 필요하다”라며, “SK하이닉스 메모리 칩에 대한 높은 수요는 엔비디아 GPU에 대한 높은 수요에 유발된 것이며, 어느 정도는 AMD, 인텔 등의 대체 AI 칩에 대한 수요와도 관련이 있다”고 설명했다.

가트너의 애널리스트 가우라브 굽타는 "HBM은 비교적 새로운 기술이며, 더 많은 대역폭과 용량을 제공한다는 점에서 강력한 모멘텀을 얻고 있다"라며, "엔비디아나 인텔이 판매하는 것과는 다르다. SK하이닉스 외에 다른 메모리 업체들도 HBM에 대한 상황은 비슷하다. 엔비디아의 경우 파운드리를 통한 칩 패키징 용량과 관련된 제약이 있다고 생각한다"라고 말했다.

SK하이닉스가 공급 한계에 도달하는 동안 삼성과 마이크론은 HBM 생산을 늘리고 있어 점점 더 분산되는 시장의 수요를 지원할 수 있을 것으로 보인다.

현재 HBM의 공급 부족은 주로 TSMC의 패키징 용량에서 발생한다. TSMC는 CoWoS(chip-on-wafer-on-substrate) 기술의 독점 공급업체이다. 벤자민 리 교수의 분석에 따르면, TSMC는 SOIC 용량을 두 배 이상 늘리고 CoWoS 용량을 60% 이상 늘리고 있어 올해 말에는 공급 부족이 완화될 것으로 예상된다.

이와 동시에 더 많은 패키징 및 파운드리 업체가 시장에 참여해 TSMC의 칩 패키징 기술을 사용하는 엔비디아, AMD, 브로드컴, 아마존 등을 지원하기 위해 기술을 검증하고 있다.

블룸버그에 따르면, 전 세계 AI 서버 칩 공급의 약 70%를 생산하는 엔비디아는 올해 GPU 판매로 400억 달러의 매출을 올릴 것으로 예상된다. 이에 비해 경쟁사인 인텔과 AMD의 예상 매출액은 각각 5억 달러와 35억 달러 수준이다. 하지만 세 업체 모두 가능한 한 빠르게 생산량을 늘리고 있다.

IDC의 컴퓨팅 반도체 연구 부사장인 셰인 라우는 AI 칩 수요는 매우 높지만 시장은 이에 적응하고 있다고 본다. 라우는 "서버급 GPU의 경우 웨이퍼, 패키징, 메모리의 공급이 증가하고 있다. 서버급 GPU는 성능과 프로그래밍 가능성으로 인해 대규모 AI 모델을 학습하고 실행하는 데 있어 여전히 인기 플랫폼으로 남을 것이기 때문에 공급 증가가 핵심이다”라고 설명했다.

AI 수요를 충족하기 위해 분주히 움직이는 칩 제조업체들

가트너 리서치에 따르면, 올해 AI용 칩에 대한 전 세계 지출은 530억 달러에 달하고, 향후 4년 동안 두 배 이상 증가할 것으로 전망된다. 따라서 칩 제조업체들이 가능한 한 빨리 새로운 프로세서를 출시하는 것도 놀라운 일은 아니다.

인텔은 가우디 3 프로세서를 통해 AI 기능을 강화한 칩 계획을 발표했으며, RAG 프로세스를 실행할 수 있는 제온 6 프로세서도 핵심이 될 것이라고 말했다. 가우디 3 GPU는 데이터센터에서 생성형 AI의 기반이 되는 LLM을 학습하고 실행하는 용도로 설계됐다. 한편, AMD는 최근 실적 발표에서 AI 데이터센터 워크로드를 위한 MI300 GPU를 내세웠는데, 이 역시 시장에서 좋은 반응을 얻고 있다.

소프트웨어 측면에서는 수천억 개 또는 1조 개 이상의 파라미터를 자랑하는 방대한 비정형 알고리즘과 달리 필요 자원이 적고 독점 데이터에 의존해 특정 작업에 맞춘 소규모 모델도 개발되고 있다.

인텔의 향후 전략은 노트북에서 스마트폰에 이르기까지 모든 유형의 컴퓨팅 디바이스에서 생성형 AI를 구현하는 것이다. 인텔의 제온 6 프로세서에는 워크스테이션, PC 및 엣지 디바이스에서 사용할 수 있는 온보드 NPU 또는 AI 가속기가 탑재된 일부 버전이 포함될 예정이다. 인텔은 또한 제온 6 프로세서가 더 작고 맞춤화된 LLM을 실행하기에 충분할 것이라고 주장한다.
editor@itworld.co.kr

Lucas Mearian editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지