GPU 확보가 ‘1급 대외비’인 시대…세 갈림길 선 AI 반도체 산업[ChatGPT AI 빅뱅 1년]

(중) 막대한 연산 감당할 ‘AI 칩’ 품귀

MS, 쳇GPT 100억달러 투자비 중
엔비디아 GPU 구입에 절반 사용
클라우드·AI 업계 모두 의존 높아
자체 칩 개발 놓고 엔비디아 눈치

엔비디아 절대적 시장지배 환경서
삼성전자 위탁생산 수주 노력부터
대체·보완 칩 설계 나선 스타트업
SK하이닉스 HBM 납품 주도까지
연 20~30% 성장 산업 전략 고심

생성형 인공지능(AI) 챗GPT를 만든 미국 오픈AI의 창립 멤버 중에는, 대중에게 잘 알려지지 않았지만 캐나다 출신 개발자인 안드레이 카파시도 있다. 테슬라에서 AI 담당 이사까지 지낸 뒤 올 초 다시 오픈AI에 합류한 그는 AI 업계의 현실을 정확히 꼬집는 ‘촌철살인’의 트윗으로 유명하다. 카파시는 지난 8월 이런 트윗을 남겼다. “누가 얼마나 많은 H100을 언제, 얼마나 확보했는지는 실리콘밸리의 가장 큰 가십거리다.”

H100은 미국 반도체 기업 엔비디아의 최고사양 그래픽처리장치(GPU)다. 원래는 게임용 등에 쓰였으나 방대한 양의 데이터를 동시 연산하는 속도가 매우 빨라, AI 모델을 학습시키는 필수장치로 떠올랐다. 하지만 물량이 매우 부족하기 때문에, 빅테크 기업들은 경쟁사가 얼마만큼의 GPU를 갖췄는지 항상 촉각을 곤두세운다. 동시에 자사가 확보한 GPU 물량은 ‘1급 대외비’다.

시장조사업체 옴디아가 29일(현지시간) 그 ‘가십’의 해답을 일부 내놨다. 옴디아 추정에 따르면, 메타와 마이크로소프트(MS)는 올해 각각 15만개가량의 H100을 사들였다. H100의 가격은 개당 3만~4만달러 선이다. 두 회사가 H100 구입에 최소 45억달러(약 5조8000억원)를 썼을 것이라는 추산이 가능하다.

MS가 챗GPT 기술 독점권을 확보하기 위해 오픈AI에 투자한 금액만 약 100억달러에 달하는 것으로 알려졌는데, 그 절반을 GPU 구입에 쓴 셈이다. 사양이 비교적 낮은 ‘A100’ 같은 제품도 AI 연산 용도로 널리 쓰이기 때문에 GPU 구매에 들인 금액은 더 많을 수 있다.

챗GPT로 시장을 주도하는 오픈AI이지만 지난해 5억4000만달러(약 7140억원) 적자를 냈다. 오픈AI 최대주주인 MS뿐만 아니라 메타, 구글, 아마존 등도 생성형 AI에 수조원의 돈을 쏟아붓고 있다. 생성형 AI가 언제쯤 이들 기업에 돈을 벌어다 줄지는 아직까지 누구도 명확한 결론을 내리지 못하고 있다. 하지만 ‘누가 생성형 AI로 돈을 벌었나’에 대한 해답은 비교적 확실하다.

미국 투자은행 레이먼드제임스는 약 3만달러짜리 H100 한 개당 엔비디아가 쓴 비용을 3320달러 정도로 추산했다. 무려 10배에 달하는 이익률로, 엔비디아는 올 3분기에만 104억달러(약 13조원) 영업이익을 냈다.

가격은 비싸고 주문을 넣어도 리드타임(주문 대기기간)만 52주나 되다 보니, 글로벌 테크 업계가 엔비디아 대체재를 찾으려고 고군분투 중인 것도 당연지사다.

오픈AI 최고경영자(CEO) 샘 올트먼 또한 최근의 ‘해임 소동’ 직전까지 대용량 AI 작업에 특화된 텐서프로세싱유닛(TPU)을 만드는 스타트업을 설립하려 한 것으로 알려졌다. 오픈AI가 챗GPT를 하루 가동하는 데 필요한 하드웨어 비용만 70만달러(약 10억원)에 달하는 것으로 추산된다. 국내서는 네이버가 미국 인텔과 손잡고 엔비디아 GPU를 중앙처리장치(CPU)로 대체하려는 시도를 한 바 있다.

대규모 GPU를 필요로 하는 클라우드 업계는 사정이 절박하다. 구글은 ‘TPU’, MS는 ‘마이아’, 아마존은 ‘트레이니움’ 같은 자체 AI 반도체를 만들었다. 고객들에게 생성형 AI 가동을 위한 컴퓨팅 인프라를 제공하려면 막대한 분량의 AI 반도체가 필요하다. 보통 GPU 8~16개를 묶어 서버 한 대를 구축하고, 이 서버 수백대를 연결해 데이터센터를 구성, AI 모델을 학습시킨다. 생성형 AI 가동을 위해서만 GPU 수천~수만개가 필요한 셈이다.

하지만 이들 클라우드 기업이 엔비디아의 영향력에서 완전히 벗어나 ‘자급자족’에 성공하는 것은 불가능에 가깝다. 지난 28일 아마존웹서비스(AWS)는 미국 라스베이거스에서 열린 ‘리인벤트 콘퍼런스’에서 자체 AI용 반도체 ‘트레이니움 2’를 공개했는데, 동시에 이날 젠슨 황 엔비디아 CEO도 무대에 ‘깜짝 등장’을 했다. 그러면서 내년 초 출시를 앞둔 ‘H200’의 첫 클라우드 고객사로 AWS를 선정하겠다고 밝혔다.

블룸버그통신은 “아마존은 새로운 칩의 우수성을 홍보하고 싶지만 엔비디아와의 관계도 유지해야 한다”며 “트레이니움이 온전한 기능을 갖출 때까지 아마존 같은 클라우드 업체는 엔비디아를 무시할 수 없을 것”이라고 분석했다.

AI 반도체 시장은 매년 20~30% 성장을 예고하고 있다. 국내 기업들에는 기회의 장이 되고 있다. AI 반도체 시장에 참여하는 방식은 크게 세 갈래다. 먼저 AI 칩 위탁생산(파운드리)이다. 현재까지 엔비디아 GPU는 전량 대만 TSMC가 만들고 있다. 파운드리 후발주자인 삼성전자도 AI 반도체에서 꾸준히 TSMC를 따라잡고 있다. 지난 8월 미국 AI 팹리스 스타트업 ‘그로크’의 AI 반도체 양산 계약을 따낸 데 이어, 반도체 설계의 ‘전설’로 불리는 짐 켈러가 운영하는 팹리스 ‘텐스토렌트’의 4나노 AI 칩도 수주했다. AI 반도체 관련 실적을 꾸준히 쌓은 삼성전자가 머지않아 엔비디아 등 빅테크 기업의 물량을 수주할 수 있다는 전망도 나온다.

두 번째는 엔비디아처럼 직접 AI 반도체를 설계하는 방식이다. 리벨리온·퓨리오사·사피온 같은 국내 AI 스타트업이 대표적이다. 사피온은 최근 AI용 신경망처리장치(NPU) ‘X330’을 공개하면서 “경쟁사(엔비디아) GPU를 전력 효율이 뛰어난 사피온 X330으로 교체하면 소나무 1180만그루를 심는 것과 같은 전력 절감 효과를 얻을 수 있다”고 홍보했다.

그러나 국내 팹리스들의 NPU가 주로 ‘추론’ 영역에 특화돼 있다는 점은 한계다. AI 모델링은 데이터를 주입해 지식을 쌓는 학습, 그리고 해당 지식을 기반으로 사용자 질문에 대한 답변을 도출하는 추론이란 두 영역으로 나뉜다.

이진호 서울대 전기정보공학부 교수는 “강아지 사진을 받은 AI가 ‘이건 고양이가 아닌 강아지’라고 추론하기 위해서는 사진을 한 번만 보면 되지만, 강아지 이미지를 학습시키려면 최소 세 번 이상 들여다봐야 한다”고 비유했다. 이 교수는 “그것도 사진 한 장만 보는 게 아니라 수백만장을 봐야 하기 때문에 연산작업의 절대적인 분량과 복잡도가 추론보다 학습에서 훨씬 높을 수밖에 없다”고 말했다.

마지막으로 고대역폭메모리(HBM)를 납품해 엔비디아의 눈부신 성장에 올라타는 방법이다. GPU의 빠른 연산을 뒷받침하기 위해서는 그만큼 고성능의 메모리도 필요한데, D램 여러 개를 묶어 데이터 전송 속도를 대폭 높인 HBM이 제격이다. 일반 D램보다 가격도 5~10배가량 높아 고부가가치 제품으로 꼽힌다.

SK하이닉스가 최신 세대 제품인 ‘HBM3’를 엔비디아 H100에 단독 공급하며 주도권을 잡았다. 삼성전자도 올해 말 엔비디아와 HBM3 검증을 마칠 것으로 보인다. 업계 관계자는 “차기 모델인 H200에 탑재되는 5세대 HBM3E 공급 경쟁에는 SK하이닉스·삼성전자뿐만 아니라 미국 마이크론까지 뛰어들 채비를 하고 있어 치열한 3파전이 예상된다”고 말했다.

김상범 기자 ksb1231@kyunghyang.com

▶ 독립언론 경향신문을 응원하신다면 KHANUP!
▶ 나만의 뉴스레터 만들어 보고 싶다면 지금이 기회!

©경향신문(www.khan.co.kr), 무단전재 및 재배포 금지