[Part Ⅳ] 엔비디아 이을 차세대 주자는 브로드컴·ARM·인텔·AMD 주목

최근 엔비디아를 두고 ‘과열론’이 제기되면서, 일부에선 엔비디아를 이을 차세대 주자에 주목한다. 자체 주문형 반도체(ASIC) 개발과 네트워킹 생태계를 이끄는 브로드컴과 데이터센터 시장으로 영역을 넓히는 암(Arm) 등이 대표적이다. 이밖에도 엔비디아 GPU 수요를 일부 대체할 것으로 예상되는 AMD와 인텔도 눈여겨볼 대상이다.

월가 주목하는 ‘브로드컴’

미국 캘리포니아 팔로알토에 본사를 둔 브로드컴은 오픈AI가 개발한 챗GPT와 같은 AI 애플리케이션에서 방대한 데이터 처리를 돕는 첨단 네트워킹 반도체를 제조하고 있다.<사진 연합뉴스>

뱅크오브아메리카(BofA)는 최근 브로드컴 목표주가를 2000달러에서 2150달러로 상향 조정했다. AI 과열론이 불거진 상황에도 목표주가를 높인 것이다. 비벡 아리아(Vivek Arya) BofA 애널리스트는 “브로드컴의 다양한 성장 요인 등을 고려해야 한다”며 “브로드컴은 확실한 수혜자 중 하나”라고 강조했다.

브로드컴이 주목받는 이유는 크게 두 가지다. 먼저 빅테크의 ASIC(주문형 반도체) 개발 움직임이다. 브로드컴은 빅테크가 ASIC를 개발할 때 꼭 필요한 지원군이다.

AI 가속기 시장을 점령한 엔비디아 GPU는 큰 틀에선 ‘범용 칩’에 가깝다. H100을 기점으로 전통적인 GPU에 ASIC 요소들이 더해져 AI에 적합한 신경망처리장치(NPU) 형태를 띠고 있지만, 완벽한 건 아니다. NPU는 오롯이 AI 딥러닝용으로 설계되는 전용 반도체를 말한다. 아무리 성능 좋은 하이브리드 자동차도 완전한 전기차가 될 수 없는 것과 마찬가지다. 범용 칩은 구조적으로 무겁고 비쌀 수밖에 없다. 이것저것 다양한 용도를 위하다 보니 전력 효율도 상대적으로 떨어진다. 빅테크 입장에서는 “우리에게 딱 맞는 기능만 갖춘 NPU를 만들어야겠다”고 생각하는 게 당연하다.

대표적인 게 구글의 자체 AI 칩 TPU(텐서처리장치)다. 구글은 지난 5월 I/O(연례 개발자 회의)에서 6세대 TPU 모델 트릴리움(Trillium)을 공개했다. 트릴리움은 직전 모델인 ‘TPU v5e’ 대비 성능이 4.7배 향상됐다. 에너지 효율도 67% 개선됐다. 제프 딘 구글 딥마인드 최고과학자는 “구글의 멀티모달 AI 모델인 제미나이 1.5프로는 수만개의 TPU 가속기로 학습됐다”고 말했다. 구글은 올해 말부터 TPU를 클라우드 고객사에 공급할 계획이다. 본격적인 ASIC 시대의 개막을 선언한 셈이다. 이에 가트너 등 시장 조사기관은 글로벌 NPU 등 ASIC가 수년 안에 100조원 이상 시장으로 커질 것이라고 내다본다.

이 과정에서 주목받는 곳이 브로드컴이다. 앞서 설명한 구글의 TPU 모두 브로드컴의 칩 설계를 기반으로 한다. 뿐만 아니다. 메타의 자체 AI 칩 MITA 설계 역시 브로드컴의 작품이다. 브로드컴이 AI용 ASIC 시장 1위 기업으로 꼽히는 이유다. 최근 브로드컴은 ASIC 관련 새로운 빅테크 고객이 추가됐다고 밝혔다. 송영섭 하이투자증권 애널리스트는 “아마존, 애플 또는 바이트댄스 중 한 곳으로 추정한다. 향후 빅테크의 AI 투자 전략이 공급망 다변화와 비용 절감에 맞춰진다면, 추가적인 고객 확보도 가능할 것”이라고 설명했다.

브로드컴 수혜가 예상되는 또 다른 분야는 ‘이더넷 네트워크’다. 이더넷은 AI 네트워크의 일종이다. AI 네트워크는 크게 서버 내부 연결과 서버 외부 연결 두 가지로 나뉜다. 먼저 내부 연결은 AI 서버 내부의 반도체와 부품 등을 연결하는 형태다. 반도체업계에서 자주 언급되는 고속 데이터 전송 기술(PCIe)과 PCIe 기반 컴퓨트 익스프레스 링크(CXL), 엔비디아 자체 기술인 NVLink 등이 내부 연결 기술이다. 반면 외부 연결은 데이터 센터 내 서버와 서버 간 연결을 의미한다. 이를 위해선 인프라 구축이 필수인데, 두 가지 방법이 있다. 하나는 GPU를 구매하며 인프라 구축까지 ‘패키지 상품’ 형태로 구매하는 방식이다. 또 다른 하나는 GPU는 별도 구매하고 인프라 구축은 다른 업체 장비 등을 활용하는 형태다. 쉽게 말해 완제품을 사느냐 조립식을 사느냐의 차이다.

그간 패키지 상품을 팔아온 곳이 엔비디아다. GPU와 함께 자사 네트워크 인프라 인피니밴드(InfiniBand)를 묶어 판매했다. 끼워팔기 비판이 나올 법한데, 불만을 갖는 고객은 없었다. 네트워킹 기술 성능과 안정성 면에서 인피니밴드가 이더넷보다 앞선 것으로 여겨졌기 때문이다.

하지만 인피니밴드도 한계가 있다. 대형 AI 데이터센터가 지어지면서 서버가 늘고 이 과정에서 확장성 문제가 대두됐다. 인피니밴드의 핵심 콘셉트는 ‘RDMA(Remote Direct Memory Access)’와 ‘데이터 손실 최소화’다. 서로 다른 서버를 CPU 중개 없이 직접 연결해 속도를 개선하면서도 데이터 손실은 최소화한다는 의미다. 문제는 RDMA가 현재 수준의 대형 AI 데이터센터와 적합하지 않다는 점이다. 연결할 서버가 늘수록 과부하로 성능 저하가 불가피해졌다. 젠슨 황 엔비디아 CEO도 지난해 1분기 실적 설명회에서 인피니밴드가 대형 데이터센터를 겨냥한게 아니라는 점을 밝힌 바 있다.

브로드컴(이더넷 장비 반도체 설계)과 마벨테크놀로지(이더넷 장비 반도체 설계), 아리스타네트웍스(이더넷 기반 장비 생산) 등 이더넷 진영은 이 지점을 파고들었다. 일단 RDMA와 유사한 ‘RoCE(RDMA over Converged Ethernet)’ 기술 표준을 채택했다. 덕분에 지원 가능한 대역폭은 이전보다 배로 높아졌다. 동시에 확장성과 가성비를 앞세워 존재감을 키웠다. IT업계에 따르면 이더넷 기반 장비 활용 시 인피니밴드 대비 50% 비용으로 인프라 구축이 가능하다. 분위기 반전에 이더넷 진영에서도 자신감 섞인 전망이 이어지는 모습이다.

서버용 CPU 진입한 ARM

AI 시대로 접어들며 AI 데이터센터의 중요성도 커졌다. 데이터 양이 늘고 요구 처리 속도도 빨라졌기 때문이다. 빅테크가 앞다퉈 AI 데이터센터 구축에 나선 이유다.

문제는 비용이다. 오픈AI는 마이크로소프트와 함께 대규모 AI 데이터센터를 구축하는 ‘스타게이트’ 프로젝트를 추진 중인데, 투입 예정 비용만 6년간 1000억달러(약 135조원)다. 아마존도 15년 동안 데이터센터 건설에 1500억달러(약 205조원)가 필요할 것으로 예상한다. 이에 빅테크는 자체 CPU라도 만들어 비용 부담을 줄이겠다는 전략을 세웠다. 마이크로소프트는 지난 5월 연례 개발자 콘퍼런스 ‘빌드’에서 자체 개발한 서버용 CPU ‘코발트100′을 공개했다. 구글 클라우드도 지난 4월 기술 콘퍼런스를 열고 구글의 첫 서버용 CPU 악시온을 선보였다.

이 과정에서 반도체 칩 설계 업체 Arm이 주목 받는다. 마이크로소프트 코발트100과 구글 클라우드 악시온 모두 Arm 설계 기반 CPU다. Arm은 그간 모바일 시장에 집중해 칩 설계 분야를 사실상 독점해왔다. 모바일 시장을 재패한 Arm은 AI 시대로 접어들며 PC와 서버용 시장까지 노려보고 있다. 특히 서버용 시장 내 Arm 기반 CPU 점유율은 우상향 중이다. 대만 디지타임스 리서치 조사에 따르면 지난해 기준 서버용 시장 Arm CPU 점유율은 8.1%까지 치솟았다. 그간 점유율이 0~2% 수준이었다는 점을 고려하면 시장 침투율이 상당히 빠른 편이다. 고민성 NH투자증권 애널리스트는 “올해 AI PC와 서버용 CPU 등으로 영역 확장이 기대된다”며 “PC 부문의 경우 향후 저전력 모멘텀이 이어져 Arm 생태계가 확장될 것으로 전망한다”고 말했다.

향후 Arm이 자체 AI 칩 개발에 뛰어들지도 주목할 대목이다. 그간 칩 설계를 제조사에 팔거나 라이선스로 제공했다면, 앞으로는 직접 개발할 가능성이 언급되고 있기 때문이다. 외신 등을 통해 구체적 내역까지 공개된 상태다. 니혼자게이신문은 지난 5월 “Arm이 AI 칩 사업부를 설립한다”며 “2025년 가을 대량생산 돌입이 목표”라고 보도했다. Arm의 AI 칩 개발 여부가 관심을 끄는 건 수익성과 직결되기 때문이다. Arm의 주요 매출원 중 하나는 로열티다. 고객사가 칩 매출의 일부를 설계를 제공한 Arm에 환원하는 방식이다. 만약 Arm이 직접 칩을 개발해 판매하면 더 큰 매출을 기대할 수 있다. 다만 이 경우 “고객사와 경쟁하지 않는다”는 Arm의 근본적 사업 전략을 뒤집어야 한다. 기회와 리스크가 공존하는 셈이다.

‘가성비’ 무장한 인텔·AMD

엔비디아의 독주를 막기 위해 경쟁사도 분주히 움직인다. 인텔과 AMD는 새로운 반도체 출시를 발표하며 가성비(가격 대비 성능) 공세에 나섰다. 지난 6월 4일 대만에서 열린 컴퓨텍스 2024 기조 연설에 오른 펫 겔싱어 인텔 최고경영자(CEO)는 자사 AI 가속기 ‘가우디3’를 소개하고 엔비디아 ‘H100’ 가격 3분의 2 수준에 공급하겠다고 밝혔다. 동시에 전작인 ‘가우디2’는 3분의 1 수준에 공급 중이라고 강조했다. AMD도 컴퓨텍스 2024에서 깜짝 AI 가속기 신제품 MI325X 출시 계획을 밝혔다. AMD는 새로운 칩셋을 설계하는 대신 기존 MI300X의 성능을 유지하고 HBM3E를 새롭게 채택해 메모리 용량을 기존 192GB에서 288GB(기가바이트)로 늘렸다. HBM3E는 상대적으로 수급이 용이한 삼성전자 제품을 활용할 계획이다. 삼성전자는 HBM3E 공급을 위해 품질 테스트를 진행 중인 것으로 알려졌다. 리사 수 CEO는 “올해 4분기 출시 예정”이라며 “MI325X 탑재 시 엔비디아 H200보다 메모리 용량은 2배, 메모리 대역폭은 1.3배, 모델 사이즈는 2배 향상할 수 있다”고 밝혔다.

ARM은 엔비디아를 뒤따라 AI 시장의 핵심 반도체 기업으로 자리잡을 잠재력이 있는 것으로 평가된다.<사진 연합뉴스>

반격에 나선 AMD는 인수합병(M&A)도 불사하는 모습이다. AMD는 최근 핀란드 AI 스타트업 ‘사일로 AI(Silo AI)’를 6억6500만달러(약 9200억원)에 인수했다. 사일로 AI는 유럽 최대 민간 AI 연구소로 불릴 만큼 인력풀이 강점이다. 시장 조사 기관 카운터포인트리서치에 따르면 사일로 AI는 박사 학위(phD)를 보유한 125명을 포함해 총 300명의 AI 전문가를 보유 중이다. 카운터포인트리서치는 이번 M&A를 두고 “최근 AI 시장은 인재 확보 등을 통해 AI 경쟁력을 끌어올리는 분위기”라며 “AMD 역시 AI 인재와 기술력 개선 등을 위한 결정으로 보인다”고 설명했다. 블룸버그통신도 “엔비디아와의 격차를 좁히기 위한 M&A 작업”이라고 보도했다.

다만 아직 유의미한 경쟁 구도를 만들지 못했다는 평가가 지배적이다. 엔비디아의 패권은 단순히 GPU 성능만으로 이뤄낸 게 아니기 때문이다. 일부 AI 개발자들은 진짜 힘은 소프트웨어 생태계 ‘쿠다(CUDA)’에서 나온다고 말한다. 쿠다는 GPU가 가진 병렬성(동일한 시간에 동시 작업)을 AI 개발에 활용할 수 있도록 돕는 일종의 플랫폼이다. 플랫폼 이동 시 그간 쌓인 라이브러리를 포기해야 하고 해당 플랫폼들이 쿠다 수준의 최적화를 보장하는 것도 아니기 때문이다. AI 업계 관계자는 “엔비디아가 AI 가속기 시장에서 여전히 AMD와 인텔 등을 제치고 70% 이상의 점유율을 기록 중인 배경”이라고 설명했다.

[최창원 기자]

[본 기사는 매경LUXMEN 제167호 (2024년 8월) 기사입니다]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]