AI로 급팽창하는 첨단 데이터센터... 데이터 주권 확보, 빅테크 경쟁 ‘활활’

오픈AI ‘데브데이(개발자 콘퍼런스)’ 연단에 함께 오른 샘 올트먼(왼쪽) 오픈AI 창업자와 사티아 나델라 마이크로소프트(MS) 최고경영자.<사진 연합뉴스>

글로벌 테크업계에서는 최근 생성형 인공지능(AI) 시장을 선점한 마이크로소프트(MS)와 오픈AI가 데이터센터 동맹에 주목하고 있다.

지난 3월 미국의 정보기술(IT) 전문매체 디인포메이션은 MS와 오픈AI가 약 1000억달러(약 136조8500억원)라는 천문학적인 돈을 투자해 세계 최대 규모의 데이터센터를 구축한다고 보도했다. 두 회사 경영진은 오픈AI 서비스 구동을 위해 특수 AI 반도체를 장착한 데이터센터를 구축하는 프로젝트를 진행하고 있다. 프로젝트명은 ‘스타게이트(Stargate)’다.

MS와 오픈AI가 함께 데이터센터 건립에 나선 것은 AI 관련 서비스를 확장하는 과정에서 전 세계 주도권을 확실히 가져가기 위해서다.

AI 시장이 기하급수적으로 커지면서 데이터센터 수요가 팽창하고 있다. 생성 AI와 클라우드 중추 시설인 데이터센터 인프라스트럭처를 둘러싼 국내외 기업들 경쟁이 갈수록 치열해지고 있다. 데이터센터에 대한 수요는 폭발적으로 성장해왔고, 앞으로 더 커질 전망이다. AI, 클라우드, 6G(6세대 이동통신), 자율주행, 가상세계(증강현실·가상현실) 등 새롭게 각광받고 있는 거의 모든 기술 분야에서 데이터 사용량이 급증하고 있어서다.

특히 최근에는 AI 특화 데이터센터 구축 움직임이 활발하다. AI 시장 기술 주도권을 잡기 위해서는 머신러닝과 딥러닝 등을 위한 학습과 추론에 필수적인 그래픽처리장치(GPU) 같은 설비들이 많이 필요하기 때문에 이를 관리·지원하는 핵심 시설인 데이터센터의 중요성이 갈수록 부각되고 있는 것이다.

업계에서는 MS와 오픈AI가 최첨단 AI 데이터센터 건립 경쟁에 불을 붙이면서 향후 AI 컴퓨팅 용량을 갖추는 데 거대한 투자가 계속해서 이뤄질 것이라는 전망이 힘을 얻는다. 데이터센터 운영 기업 ‘디지털리얼티’의 크리스 샤프 최고기술책임자(CTO)는 “범용인공지능(AGI) 구축에 절대적으로 필요한 과정”이라며 “현재 기준으로는 상상할 수 없을 만큼 거대한 규모 같지만, 슈퍼컴퓨터가 실제로 완성되는 시점에는 그렇게 보이지 않을 것”이라고 말했다.

AI 데이터센터 뒤에는 반도체 경쟁

AI 특화 데이터센터의 핵심은 비메모리 반도체 GPU다. GPU는 원래 엔비디아가 게임 속 3D 이미지 데이터를 효과적으로 처리하기 위해 개발했지만, 한 번에 여러 계산을 할 수 있어 AI 반도체로 널리 쓰이고 있다. GPU에 고대역폭메모리(HBM)를 조립해 만든 AI가속기, 중앙처리장치(CPU)와 낸드 등을 조립하면 AI컴퓨터가 된다. AI 데이터센터는 이러한 AI 컴퓨터가 수백~수천 대 모인 곳이다. GPU와 함께 돌아가는 CPU와 메모리, 네트워크 장치가 필요하고, 그렇게 만들어진 ‘고성능 서버 컴퓨터’를 수백 대 연결해 AI 데이터센터를 만든다. 1만 개 정도 GPU가 장착된 데이터센터는 ‘AI 슈퍼 클러스터’로 불린다. 즉 AI 학습과 고객에 대한 서비스(추론)가 이뤄지는 장소가 바로 데이터센터다. 단순히 데이터를 저장하기 위한 곳만을 의미하는 것이 아니라 대규모언어모델(LLM)을 학습시키는 전진 기지인 셈이다.

4만달러(약 5400만원)대 GPU인 엔비디아 H100은 주문부터 도착까지 50주 이상이 걸리는 것으로 알려졌다. 저가 GPU인 A100은 단종된 상태다. 대규모언어모델을 개발하는 기업들이 AI를 업데이트하고 싶어도 현실적인 어려움을 겪고 있는 이유다. 국내 클라우드 기업 NHN클라우드는 광주 국가AI데이터센터에 국내 최대 규모인 1000개 이상의 H100을 확보했다. 엔비디아 주력 제품이 AI 연구·개발의 필수재로 꼽히기 전부터 물량 확보에 나서 국내 경쟁 벤더 대비 3배 이상의 H100을 확보할 수 있었다는 후문이다.

엔비디아의 H100은 메타·마이크로소프트·구글 등 글로벌 빅테크 기업들이 수십만 대씩 주문하는 바람에 대당 5000만원이 넘는 고가 제품이 됐다.

현재 AI 학습·추론을 위해 필요한 병렬 처리 소프트웨어 시장 역시 엔비디아 쿠다(CUDA)가 독점하고 있다. 엔비디아가 GPU 시장 80% 이상을 장악하면서 AI 가속기 개발 플랫폼까지 자연스레 석권한 것이다.

전 세계적으로 엔비디아 독점을 막기 위한 움직임도 활발하다. 4월 10일 인텔은 AI 모델 훈련 시간을 크게 단축한 AI 가속기 ‘가우디3(Gaudi3)’를 전격 공개했다. 가우디3는 엔비디아의 대표 GPU인 H100 대비 훈련 속도가 2배 빠르다는 것이 회사 측 설명이다. 인텔은 라마2 모델만을 상대로 한 테스트에서는 H100보다 추론 처리량이 50%, 추론 시 전력 효율이 40% 더 우수했다고 설명했다.

네이버는 GPU 없이도 동일한 성능을 낼 수 있는 실험을 진행 중이다. 앞서 인텔의 CPU 기반 데이터센터 칩인 ‘2세대 제온 스케일러블 프로세서’를 활용해 클라우드 성능을 개선하는 테스트를 진행했다. 네이버는 가우디 공동 플랫폼 구축에도 참여했다. MS 역시 자체 AI칩 가속기와 GPU를 개발했다.

지난 3월 20일 경계현 삼성전자 디바이스솔루션(DS) 부문장(사장)은 제55기 주주총회에서 삼성전자의 AI 가속기를 내년 초 선보인다는 계획을 공개했다. 삼성전자와 네이버가 함께 개발 중인 AI 가속기 ‘마하-1’은 GPU와 메모리반도체 사이의 병목현상을 8분의 1로 줄일 수 있는 파격적인 구조로 설계됐다.

김동훈 NHN클라우드 대표는 “엔비디아 기반 서비스가 가장 활성화돼 있지만, 앞으로는 멀티 GPU로 갈 것이라 보고 있다”고 했다. 또 그는 심해지는 H100 품귀 대응 및 GPU 신제품 수급 전략과 관련해 “(H100뿐만 아니라)앞으로 여러 제품들이 출시될 텐데, 신규 제품이 나온다고 해도 기업들이 알고리즘을 최적화하고 서비스하는 데까지 시간이 좀 필요할 것”이라고 말했다.

중동선 사우디, UAE 데이터센터 건립 ‘붐’

AI 기술 경쟁이 국가 간 패권 경쟁으로 격화하면서 주요국들은 이를 뒷받침할 수 있는 데이터센터 건립 경쟁을 벌이고 있다. 대표적인 예가 중동의 AI 패권을 잡기 위해 데이터센터 건립 경쟁을 벌이고 있는 사우디아라비아와 아랍에미리트(UAE)다.

블룸버그통신 등 외신은 양국이 이미 수십 개의 데이터센터를 운용 중이지만 거액을 투자해 추가 건립을 계획 중이라고 4월 보도했다. 두 국가는 AI 기술을 지원하기 위해 자국 내 사막 지역에 거액을 들여 데이터센터를 건립하는 방안을 추진 중이다.

사우디아라비아는 경제 상당 부분을 원유 수출에 의존하고 있지만 AI에서 국가의 새로운 수익모델을 기대하고 있다. 모하메드 빈 살만 왕세자의 비전 2030 전략에서 AI 기술 개발은 상당히 중요한 비중을 차지한다. 사우디아라비아는 AI를 전담하는 주요 연구센터와 부처를 설립했고, 오픈AI의 챗GPT와 유사한 LLM도 만든 것으로 알려졌다. 아울러 사우디아라비아 국부펀드(PIF)는 최근 미국 실리콘밸리의 대표적 벤처캐피털 중 하나인 앤드리슨호로위츠와 파트너십을 체결하고 AI 분야에 400억달러를 투자하는 방안을 논의 중인 것으로 전해졌다.

사우디에 맞서는 UAE는 향후 몇 년 안에 1000억달러 규모를 목표로 하는 AI 투자펀드를 조성하겠다고 지난 3월 초 발표한 바 있다. UAE 정부 관리 및 투자자들은 샘 올트먼 오픈AI 최고경영자(CEO)와 만나 민간 부문이 국가와 협력해 대규모 AI 인프라를 지원할 수 있는 방법을 논의했다.

AI 경쟁서 데이터센터가 중요한 이유

AI 기술 경쟁에 뛰어든 나라들은 저마다 자국 내에 데이터센터를 두려고 한다. 데이터센터를 가까이 두게 될 경우 고객이 서비스에 접근하기 쉽고 기술 개발 속도를 높일 수 있기 때문이다. 또 서버에 저장된 데이터는 현지의 규제나 간섭을 받기 때문에 지정학적 이유로도 자국 내에 두는 게 유리하다는 분석이다. 테크업계에서 “데이터센터가 없이 AI강국이 되긴 어렵다”는 말이 나올 정도다.

경제적 효과도 빼놓기 어렵다. 글로벌 컨설팅업체 프라이스워터하우스는 2030년까지 AI가 UAE의 경제에 960억달러, 사우디아라비아에 1350억달러를 각각 기여할 것으로 추정했다. 그렇게 되면 이 분야에서 이들 국가를 앞서는 나라는 미국과 중국밖에 없게 된다는 분석이다.

생성형AI ‘붐’은 민간 영역에서 데이터센터 수요를 끌어올리고 있다. 월스트리트저널(WSJ)에 따르면 아마존웹서비스(AWS)의 빌 바스 부사장은 “세계적으로 사흘에 하나씩 새로운 데이터센터가 생기고 있다”고 말했다. 일본 니혼게이자이(닛케이)신문 등에 따르면 MS는 일본에 2년간 약 4조원을 투자해 첨단 AI 데이터센터를 구축할 예정이다.

MS는 일본 동부 및 서부에 위치한 기존 데이터센터에 대량 연산을 병렬로 수행할 수 있는 최첨단 GPU를 추가해 통합센터를 구축하겠다는 방침을 세워둔 것으로 알려졌다. 브래드 스미스 MS 사장은 “인구가 줄어드는 상황에서 지속적인 경제 성장에 AI는 필수적”이라며 “세계 각국 정부 정책에 있어 로컬 인프라를 포함한 AI 데이터센터 도입이 우선사항이 되고 있고, 일본 경제의 경쟁력도 AI 도입에 달려 있다”고 강조했다.

한국에서도 데이터센터 구축 경쟁에 불이 붙었다. 특히 인터넷데이터센터(IDC)를 보유한 통신사뿐 아니라 다양한 국내 정보통신기술(ICT) 서비스 기업들이 AI 데이터센터를 구축하는 것이 눈에 띈다.

NHN클라우드는 지난해 10월 개소한 ‘국가AI 데이터센터’를 지난 3월 외부에 처음으로 공개했다. NHN클라우드는 생성형 AI 연산에 필수적인 GPU 여러 대를 하나의 시스템으로 연결해 대규모 데이터 처리 작업을 수행하는 국내 최대 ‘GPU 팜(컴퓨팅시스템)’을 구축했다. 광주 AI데이터센터의 총연산 능력은 일반업무용 노트북 약 50만대 규모 연산을 1초에 수행할 수 있는 88.5페타플롭스(PF·초당 1000조번 연산 처리)에 달한다. NHN클라우드는 데이터센터를 엔비디아뿐 아니라 다양한 회사 제품을 제공하는 ‘멀티 AI GPU 팜’으로 구축했다. NHN클라우드는 광주 데이터센터를 비롯해 판교, 평촌 데이터센터 등에 엔비디아와 더불어 그래프코어, 사피온 AI GPU 설비를 갖췄다.

네이버는 지난해 두 번째 자체 IDC ‘각 세종’을 본격 가동했다. AI, 클라우드, 로봇, 자율주행 등 네이버의 첨단 기술 역량이 결집된 데이터센터를 통해 AI와 클라우드 중심의 비즈니스를 확대하겠다는 구상이다.

네이버의 두 번째 자체 데이터센터(IDC) ‘각 세종’

네이버 데이터센터 ‘각 세종’에서 본격 가동에 들어간 자동화 로봇 ‘세로’와 ‘가로’ 모습

축구장 41개 크기인 29만4000㎡ 용지에 자리잡은 ‘각 세종’은 규모가 압도적으로 큰 만큼 운영과 관리의 효율성 극대화를 위해 AI·로봇·자율주행·디지털트윈 등 팀네이버의 기술이 대거 적용됐다. 더 많은 고사양 서버를 관리해야 함은 물론이고 앞으로 현재 크기에서 최대 6배 더 확장될 예정이기에 미래의 10년을 생각하고 대비했다는 설명이다.

클라우드 시장점유율 1위인 AWS는 한국에 2027년까지 향후 5년간 7조8500억원(약 58억8000만달러)을 투자하는 대규모 클라우드 인프라 투자 계획을 지난해 10월 발표한 바 있다. AI로 인해 폭증하고 있는 한국의 클라우드 서비스 수요에 선제적으로 대응하는 한편 앞다퉈 자체 데이터센터를 확충하고 있는 경쟁사와의 격차를 더 벌리겠다는 구상으로 풀이된다. 업계에서는 AWS가 투자를 통해 건물, 통신망을 포함한 자체 데이터센터 설립에 속도를 낼 것으로 보고 있다.

현재 AWS 서울 리전은 수도권을 중심으로 데이터센터 여러 개를 묶은 가용영역(AZ) 4개를 아우르고 있는데 그동안은 모두 임차를 통해 데이터센터를 운영해왔다. AWS가 AZ를 4개 이상 운영하는 리전은 서울을 포함해 미국의 버지니아 북부와 오리건, 일본 도쿄 등 4곳뿐이다. 클라우드 업계 안팎에서는 AWS의 자체 데이터센터가 들어설 곳으로 인천이 유력하게 거론된다.

국내 시장 2위를 차지하고 있는 MS는 2020년 부산에 자체 데이터센터를 개소한 바 있다. 국내 주요 클라우드업체들도 데이터센터를 구축해 경쟁력 강화에 드라이브를 걸고 있다. KT클라우드는 가산 IDC를 비롯해 향후 3~5년간 100㎿ 이상의 데이터센터를 추가로 구축할 예정이다.

안정적 전력 확보 관건

한편 빅테크는 데이터센터 가동에 필요한 에너지 전력 확보에 몰두하고 있다. MS 창업자 빌 게이츠는 데이터센터의 수익성을 결정할 핵심 요소로 전력을 꼽으면서 AI 구동에 들어가는 전력량이 믿기 어려울 정도라고 언급한 바 있다.

지난 3월 스탠더드앤드푸어스(S&P) 주최로 미국 텍사스 휴스턴에서 열 린 에너지 콘퍼런스 세라위크(CERAWeek)의 주요 화두는 AI 발전 및 그에 따른 전력 수요에 집중됐다. 이에 대해 WSJ는 “데이터센터 가동에 대규모 전력이 필요한 만큼 전력망에 부담이 가고 친환경 에너지로의 전환도 지연될 수 있다는 데는 대다수가 동의하는 상황”이라고 설명했다.

전 세계 데이터 센터 약 8000곳 가운데 3분의 1가량이 미국에 있는 만큼 미국 내 전력 사정에 관심이 집중됐다는 분석이다. 하지만 데이터센터 건설은 세계적인 현상으로 향후 전력 수요는 대폭 늘어날 전망이다. 앞서 국제에너지기구(IEA)는 세계적으로 데이터센터·AI·가상화폐 부문의 전력 수요가 2026년까지 2배가 될 것으로 추산한 바 있다.

[황순민 기자]

[본 기사는 매경LUXMEN 제164호 (2024년 5월) 기사입니다]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]