AI 인프라 병목 해법…"메모리·컴퓨트 결합이 다음 승부처"

[SK AI 서밋] AI 인프라 병목의 메모리 중심 해법 모색
폭증하는 추론 연산…니어메모리·병렬 메모리 구도 부상

[아이뉴스24 박지은 기자] SK하이닉스가 차세대 인공지능(AI) 인프라의 핵심 과제로 메모리와 컴퓨트의 결합을 제시했다.

대규모 언어모델(LLM) 확산과 함께 AI 연산이 학습에서 추론 중심으로 이동하면서, 기존 GPU 중심 구조만으로는 처리·전력·지연(latency) 요구를 감당하기 어렵다는 진단이다.

김창규 메타 수석엔지니어가 3일 서울 강남구 코엑스 'SK AI 서밋' 세션 무대에 올라 발언하는 모습.(아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자]

(아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자]

김호식 SK하이닉스 부사장(메모리 시스템 연구)은 3일 서울 강남구 코엑스에서 열린 ‘SK AI 서밋’에서 “AI 병목은 메모리 대역폭과 용량 모두에서 발생한다”며 “전통적 메모리 피라미드에서 벗어난 병렬 계층구조가 필요해지고 있다”고 말했다.

이어 “컴퓨트와 메모리를 인접 배치하는 니어-메모리 프로세싱, 메모리 위에 연산을 얹는 구조까지 검토 중”이라며 “전력 효율도 새 병목으로 부상해 관련 아키텍처 대안을 탐색하고 있고, 곧 제품이 나올 것”이라고 밝혔다.

니어-메모리 프로세싱은 메모리 근처에 연산 기능을 붙여 데이터 이동을 줄이는 방식이다.

이 같은 기술 전환의 배경으로는 모델 규모와 컨텍스트 길이 확대가 지목됐다.

GPU 연산 성능 개선 속도와 시스템 메모리 접근 효율 개선 속도 간 격차가 벌어지고, 추론 과정에서 대량의 데이터 이동이 반복되면서 비용과 반응성이 좌우되는 구조가 됐다는 것이다.

이날 세션은 필립 웡 TSMC 수석과학자(미국 스탠퍼드대 교수)가 좌장을 맡고 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자가 패널로 나섰다.

김창규 메타 수석엔지니어는 “AI 중심축이 학습에서 추론으로 이동했다”며 “토큰 생성 단계의 데이터 이동이 사용자 경험과 비용을 결정한다”고 말했다.

찰스 판 창업자는 “가중치·작업 메모리·지속 콘텐츠 계층이 확대되고 GPU 간 상태 공유가 필수로 바뀌고 있다”며 “HW·SW 혁신이 동시에 요구된다”고 했다.

업계는 반도체 구조 전환이 메모리 시장 지형에도 변화를 가져올 것으로 보고 있다.

실제로 스토리지와 메모리 경계는 허물어지는 추세다. 대규모 컨텍스트를 처리하는 추론 수요가 늘면서 고대역폭 낸드(HBF)와 거고대역폭메모리(HBM) 기반 솔리드스테이트드라이브(SSD) 구조가 검토되고 있다. 메모리와 저장장치를 물리적으로 가깝게 배치해 지연을 최소화하려는 움직임이다.

패키징 기술 경쟁도 치열해질 전망이다. 2.5D·3D 패키징, 실리콘 인터포저, 칩렛 구조 등이 주요 대안으로 꼽힌다. 칩 간 데이터 이동 거리를 줄여 시스템 효율을 높이는 전략이다.

최태원 SK그룹 회장이 3일 오후 서울 강남구 코엑스에서 열린 'SK AI 서밋' 메모리 관련 세션을 듣는 모습. [사진=박지은 기자]

전력 효율 역시 핵심 변수다. AI 데이터센터 전력 수요가 급증하면서 냉각 기술과 전력 공급 인프라가 비용 구조를 좌우하는 요소로 떠올랐다. 업계는 액침냉각, 고효율 전원 설계 등 대비책을 검토하고 있다.

5년 후 열릴 SK AI 서밋에서 다룰 것으로 예상되는 '변화'에 대한 질문도 나왔다. 김 부사장은 “지금은 AI 시대의 출발점”이라며 “LLM을 넘어 물리 세계를 이해하는 월드 모델이 등장할 것”이라고 전망했다.

올해 SK AI 서밋은 ‘AI의 현재, 그리고 다음’(AI NOW&NEXT)을 주제로 열렸다. 오는 4일까지 엔비디아, LG AI연구원, 네이버 등이 AI 비전과 전략을 발표한다.

/박지은 기자(qqji0516@inews24.com)

[ⓒ 아이뉴스24 무단전재 및 재배포 금지]