[SK AI 서밋] 폭발하는 AI 수요...인프라 구축 '속도전' 승리 비결은

[남도영 기자]

인공지능(AI)이 가져올 폭발적인 생산성 향상과 기술 혁신에 주목한 전 세계 정부와 기업들이 인프라 구축 경쟁 체제에 돌입한 가운데, 한국이 앞서가기 위해선 컴퓨팅, 전력, 시스템을 결합한 '속도전'에서 승리해야 한다는 조언이 나왔다.

10년 내 AI 인프라 투자 7조달러…글로벌 자본 배분 재정의

3일 서울 삼성동 코엑스에서 열린 'SK AI 서밋'에서 박준우 브룩필드자산운용코리아 대표는 "AI 주도의 자동화를 통해 향후 10년 이내에 연간 10조 달러 이상의 생산성 향상을 가져올 수 있을 것으로 추정된다"며 "그 잠재력을 실현하려면 전 세계가 같은 기간 동안 AI 인프라에 7조 달러 이상을 투자해야 한다"고 말했다.

그는 "AI 팩토리에 2조달러, 컴퓨팅 인프라에 4조달러, 전력 및 송전에 5000억달러, 전략적 인접지에 5000억달러가 투입된다"며 "이것은 단순한 기술적 과제가 아니라 글로벌 인프라 과제"라고 설명했다. 또 "상위 5개 하이퍼스케일러가 올해에만 4000억달러 이상의 CAPEX를 지출할 것으로 예상된다"며 "AI 역량을 구축하기 위한 경쟁이 계속되고 있다는 의미로 역사적인 규모로 글로벌 자본 배분의 재정의되고 있다"고 덧붙였다.

박 대표는 AI 인프라 구축 과정에 자본, 전력, 송전망 연결 분야에서 병목이 발생하고 있다고 분석했다. 그는 "2030년까지 필요한 데이터센터 용량의 약 40%만이 전력망에 연결될 수 있다"며 "이런 병목 현상을 해결하고 AI를 확장하기 위해선 에너지, 컴퓨팅, 송전 등 다양한 상넙에서 진전을 이뤄야 한다"고 말했다.

AI 인프라 구축, '속도'를 높여라

AI 인프라 기업 크루소의 공동 창업자인 체이스 로크밀러 최고경영자(CEO)는 "샘 올트먼 오픈AI 최고경영자(CEO)는 매주 기가와트(GW) 규모의 새로운 AI 인프라를 구축하길 원한다"며 그는 "오늘날 미국의 데이터센터 환경을 보면 20GW가 조금 넘는 용량이 구축되어 있으며 그것을 짓는 데 약 40년이 걸렸지만, 샘은 앞으로 5개월마다 그 모든 것을 짓고 싶다고 말한다"고 말했다.

크루소는 오픈AI가 주도하는 미국의 초대형 컴퓨팅 인프라 구축 프로젝트 '스타게이트' 일환으로 텍사스 애빌린에 1.2기가와트(GW) 규모 AI 데이터센터를 짓고 있다. 로크밀러 CEO는 AI 팩토리를 에너지 발생지 근처에 위치시키고, 시설 설계, 구축, 운영을 수직적으로 통합하고, 개별 구성 요소를 모듈식으로 조립하는 방식으로 이전에 3~5년이 걸리던 구축 기간을 1년 만에 가능케 하고 있다고 소개했다.

짐 시모넬리 슈나이더 일렉트릭 수석부사장 겸 최고기술책임자(CEO)는 "AI 팩토리는 시스템으로 구축되어야 한다"며 "AI 팩토리를 구축하기 위한 세가지 원칙은 밀도 있게 구축하고, 뜨겁게 운영하며, 일정하게 유지해야 한다는 것"이라고 설명했다.

그는 "더 촘촘하게 지으라"며 "더 높은 밀도로 구축할 수 있다는 것은 궁극적으로 더 낮은 CAPEX로 이어질 수 있다"고 말했다. 또 "현재 GPU에 거의 45°C의 물을 공급하고 있는데, 그 물은 아마도 65°C로 나올 것"이라며 "단순히 열을 재사용하는 것이 아니라 열을 회수하는 작업을 수행해 해당 영역에서 다른 작업을 수행할 수 있어야 한다"고 말했다.

이와 더불어 시모넬리 부사장은 데이터센터가 그리드에 영향을 미치지 않도록 안정성을 확보해야 한다고 조언했다. 그는 "AI를 훈련할 때 AI 워크로드는 역동적일 수 있다"며 "전력망과의 조화를 고려하지 않으면 지속가능할 수 없다"고 말했다.

SKT AI 클러스터 '해인'이 보여준 가능성

클레이 시먼스 슈퍼마이크로 부사장과 마크 시먼스 펭귄솔루션즈 부사장, 크리스 페넌스 엔비디아 부사장은 SK텔레콤이 과학기술정보통신부와 구축한 국내 최대 AI 컴퓨팅 클러스터 '해인' 사례를 소개했다. 엔비디아의 첨단 GPU 공급을 바탕으로 슈퍼마이크로의 신속한 모듈형 아키텍처 공급, 펭귄솔루션즈의 통합 시스템 구축을 통해 AI 업계에서 주목할 만한 구축 사례를 만들었다는 설명이다.

SK텔레콤은 엔비디아 GPU ‘B200’ 기반 서비스형 GPU(GPUaaS: GPU-as-a-Service)를 출시했다. 클러스터 명칭은 \'해인\'이다/사진=SK텔레콤 제공

슈퍼마이크로는 직접 액체 냉각 방식의 'DLC-2' 설루션을 통해 효율적인 냉각을 지원하고, 공급 즉시 활용 가능한 '데이터센터 빌딩 블록 설루션(DCBBS)'을 통해 데이터센터 구축 기간을 획기적으로 단축했다고 소개했다. 클레이 시먼스 부사장은 "전체 시스템을 엔드투엔드로 수직적으로 통합해 구축한다"며 "모든 시스템은 사전에 조립돼 테스트를 마친 랙 레벨로 제공돼 도착했을 때 이미 사용할 준비가 되어 있다"고 설명했다.

펭귄솔루션즈는 대규모 GPU 서버로 구성된 AI 클러스터를 설계·운영하는 역할을 맡았다. 마크 시먼스 부사장은 "1000개 이상의 엔비디아 B200 GPU와 10페타바이트(PB) 이상의 스토리지, 50마일의 광케이블을 연결해 운영하고 있다"며 "불과 60일 만에 이 시스템을 투입해 현재 24시간 연중무휴로 운영 중"이라고 말했다.

크리스 페넌스 부사장은 "통신사는 소버린 AI 구축을 위해 매우 좋은 위치에 있다"며 "그들은 이미 자국에서 중요한 인프라 제공업체로 간주되고 있고, 소버린 클라우드를 제공하기 위한 규제 준수, 개인정보보호, 보안 분야에서 일한 경험을 갖고 있기 때문"이라고 말했다.

AI 무한 경쟁 시대, 한국의 잠재력은

이날 참석자들은 AI 분야에서 한국의 독특한 잠재력에 주목했다. 크리스 패넌스 부사장은 "한국은 로봇공학과 제조 분야에서 생성형 AI에서 에이전틱 AI로, 피지컬 AI로 넘어가는 워크로드를 제공할 수 있는 컴퓨팅, 소프트웨어, 네트워킹을 만드는 데 있어 최전선에 서 있다"며 "이는 한국을 매우 독특하고 경쟁력 있는 위치에 놓을 것"

클레이 시먼스 부사장은 "한국이 다른 나라에 비해 흥미로운 점은 SK그룹과 같은 회사가 존재한다는 것"이라며 "SK그룹은 통신사, 정유, 반도체 등의 사업과 AI 생태계에 영향력 있는 사람들을 소유하고 있는데, 이는 산업을 규합해 실제 변화를 일으키고 시장을 만들 잠재력이 있다"고 평했다.

체이스 로크밀러 CEO는 "한국은 얼리어답터 마인드가 있어 새로운 기술을 환경하고 일상생활에 어떻게 받아들이고 지 고민하는 문화적인 측면이 존재한다"며 "이런 새로운 기술을 도메인 전문 지식과 결합해 새로운 기술과 기업을 만들 수 있는 혁신가 커뮤니티를 육성한다면 엄청난 기회가 있을 것"이라고 조언했다.

남도영 기자 hyun@techm.kr

<저작권자 Copyright ⓒ 테크M 무단전재 및 재배포 금지>