'두 수 앞' 내다보는 엔비디아...'피지컬 AI' 선점 위한 젠슨 황의 묘수는

[남도영 기자]

전 세계 AI 칩 시장을 장악한 엔비디아의 '결정적 한 방'은 소프트웨어다. 엔비디아의 약 3만명 직원 중 절반이 소프트웨어 엔지니어로 이뤄져있고, 연구개발(R&D) 투자 중 소프트웨어 관련 비용이 약 30%를 차지한다.

잘 알려진 바 와 같이, 엔비디아는 소프트웨어 개발 플랫폼 쿠다(CUDA)를 통해 경쟁사들이 범접할 수 없는 강력한 경제적 해자를 만들었다. 쿠다는 그래픽카드(GPU)를 그래픽 작업 이외의 용도로 활용할 수 있도록 엔비디아가 개발한 플랫폼이다. 연구자들이 쿠다로 AI 모델 개발을 시작했고, 이후 개발자들이 축적한 방대한 라이브러리 탓에 계속해서 엔비디아 GPU를 사용할 수 밖에 없게 됐다. 현재 쿠다 플랫폼을 사용하는 개발자는 450만명에 달한다.

쿠다는 엔비디아 AI 칩 성능을 극대화하는 동시에, 개발자들의 의존도를 높인다. 이런 전략으로 엔비디아는 단순한 칩 제조사를 넘어 강력한 소프트웨어 생태계를 구축한 유일무이한 기업으로 자리매김했다. 이런 소프트웨어 생태계 전략은 지난 6일(현지시간) 'CES 2025' 기조연설에 오른 젠슨 황의 입을 통해 다시 한 번 주목을 받고 있다.

'디지털 직원' 채용부터 배치까지 다 맡겨봐

2012년 'AI의 아버지'로 불리는 제프리 힌튼 교수와 토론토대 조교였던 일리야 수츠케버, 알렉스 크리제브스키가 인공 신경망 '알렉스넷'을 선보이며 딥러닝의 시대를 알렸다. 2017년에는 구글의 트랜스포머 모델이 발표됐고, 이를 기반으로 2023년 오픈AI가 선보인 '챗GPT'가 1억명의 사용자를 모으며 생성형 AI 시대를 열었다. 이런 AI 역사 뒤에는 엔비디아 GPU와 쿠다가 존재한다.

지난해까지 많은 이들이 사람처럼 대화하며 텍스트와 이미지, 동영상 등을 생성하는 AI에 열광했다면, 올해는 직접 추론하고 계획하고 행동까지 가능한 '에이전트 AI' 시대가 열릴 것이란 전망이 우세하다. 많은 전문가들이 올해 기업 환경에서 일어날 가장 중요한 변화 중 하나로 에이전트 AI를 꼽고 있다.

에이전트 AI는 여러 맞춤형 모델로 구성된 AI 시스템이 사용자와 상호작용하며 데이터를 기반으로 의사결정을 내리고 과업을 처리하는 방식을 말한다. 앞서 쿠다 라이브러리가 개발자들이 엔비디아 GPU를 벗어나기 어렵게 만들었던 것처럼, 이 회사는 이번엔 에이전트 AI 생태계 구축을 위한 'AI 라이브러리'를 제공하겠다고 나섰다.

먼저 엔비디아는 비전, 언어 이해, 음성, 애니메이션 등 다양한 요소 기술들을 패키지화한 AI 마이크로서비스를 제공하는 '엔비디아 NIMS'를 통해 기업들이 자신들의 목적에 맞는 AI 에이전트를 개발할 수 있는 토대를 제공하겠다고 했다. 또 이렇게 구축한 '디지털 직원'을 실제 업무에 투입하고 필요한 교육과 평가를 진행할 수 있는 '엔비디아 Nemo' 시스템도 선보였다. 이와 더불어 엔비디아는 메타의 파운데이션 모델 '라마 3.1'을 AI 에이전트 개발 용도로 최적화한 '엔비디아 라마 네모트론 LLM'도 함께 공개했다.

다음 목표는 '피지컬 AI'

이런 기반들을 통해 기업들은 직원을 채용하고 업무에 맞게 교육해 배치하는 것처럼 맞춤형 AI 에이전트를 개발해 배포할 수 있게 될 것이라는 게 젠슨 황 CEO의 설명이다.

엔비디아는 AI 에이전트 시대 다음으로 '피지컬(물리적) AI' 시대가 열릴 것으로 내다봤다. AI가 디지털 공간을 넘어 실제 현실 세계로 나오게 될 것이란 전망이다. 대표적인 사례가 자율주행차와 휴머노이드다. 젠슨 황은 "AI 에이전트 다음은 로보틱스 산업이 될 것이며, 수조 달러 규모의 기회가 될 것"이라고 강조했다.

언어 모델이 질문에 맞춰 '텍스트 토큰'을 출력한다면, 로봇은 명령에 따라 '행동 토큰'을 출력한다. 이런 로봇을 훈련시키기 위해선 현실세계 기반의 플랫폼이 필요하다. 중력, 마찰, 관성과 같은 물리적 역학 관계를 이해하고, 물체의 영속성과 인과관계도 알아야한다. 이런 물리적 세계를 이해할 수 있도록 설계된 모델이 엔비디아가 선보인 '코스모스'다.

물리적 세계의 데이터는 수집과 정제, 라벨링하는 데 막대한 시간과 비용을 필요로 한다. 코스모스는 이를 대폭 줄이는 데 초점을 맞췄다. 코스모스는 텍스트, 이미지, 비디오 클립 등을 입력받아 가상 세계 상태의 비디오를 생성한다. 디지털 트윈 플랫폼 '옴니버스'가 물리 기반의 지리공간적 시나리오를 구축하고, 이를 코스모스에서 출력해 사실적인 물리 기반의 합성 데이터를 생성한다.

이런 합성 데이터를 통해 로봇 개발자는 강화학습과 AI 피드백 등을 통해 모델을 개선하고 테스트하며 검증할 수 있게 된다. 코스모스는 물리적 동작에 초점을 맞춘 2000만 시간 분량의 영상 데이터로 학습했으며, AI가 물리적 세계를 이해하도록 가르치는 데 중점을 뒀다. 엔비디아는 코스모스 파운데이션 모델을 오픈소스로 공개할 계획이다. 로봇 개발자들이 모델 학습에 활용하기 시작한다면, 로봇공학계의 쿠다가 될 것이란 전망도 가능하다.

자율차·휴머노이드 학습 데이터 부담 줄여준다

젠슨 황은 이런 로보틱스 플랫폼이 공장 자동화와 자율주행 자동차, 휴머노이드 등으로 확산될 것으로 자신했다. 자사의 AI 학습 위한 DGX 컴퓨터, 엣지단에서 동작하는 AGX 컴퓨터, 이 두 컴퓨터를 연결하기 위한 디지털 트윈 플랫폼을 기반으로 피지컬 AI 시대 장악에 나선 것.

젠슨 황은 "미래에는 모든 것이 시뮬레이션 될 것"이라며 "모든 공장은 디지털 트윈을 보유하게 될 것이며, 이는 실제 공장과 정확히 동일하게 작동한다"고 설명했다. 또 "옴니버스와 코스모스를 함께 사용해 수많은 미래 시나리오를 생성할 수 있다"며 "AI가 가장 최적화된 시나리오를 결정하고, 이것이 실제 공장에 배치될 것"이라고 전망했다.

그가 이런 피지컬 AI 분야에서 자신감을 갖는 이유 중 하나는 데이터 수집과 학습에 대한 기업들의 부담을 줄여줄 수 있다는 점에 기인한다. 시뮬레이션 시스템 '옴니버스'와 합성 데이터 생성 시스템인 '코스모스'를 결합해 기존 학습 데이터를 수십 배로 늘릴 수 있다는 설명이다. 기업들이 자율차나 휴머노이드를 개발하며 겪는 가장 큰 페인 포인트를 노린 것.

/사진=엔비디아 제공

예를 들어 자율주행차의 경우 옴니버스에 가상 도로를 만들고 코스모스를 통해 다양한 시나리오를 구축해 합성 데이터를 확보할 수 있다. 젠슨 황의 표현에 따르면 "수천 마일의 주행을 수입억 마일로 변환해 자율주행차를 위한 엄청난 양의 학습 데이터를 확보할 수 있다"고 한다. 이런 합성 데이터들은 물리적으로 검증되고 정확하며, 실현 가능한 학습 데이터다.

휴머노이드 역시 마찬가지로, 기존에는 인간 시연을 통해 모방 정보를 수집하는 게 가장 어려운 일로 꼽혔다. 하지만 인간 시연을 토대로 멀티버스를 활용해 합성 동작 데이터를 생성하고, 이를 통해 AI가 작업 수행 방법을 학습하도록 해주겠다는 얘기다. 젠슨 황에 따르면 '엔비디아 아이작 그루트' 플랫폼을 통해 소수의 인간 시연으로부터 기하급수적으로 큰 데이터셋을 생성할 수 있으며, 이를 통해 학습은 물론 테스트와 검증 과정까지 진행할 수 있다.

그는 "자율주행은 수조 달러 규모의 로보틱스 산업이 될 것. 현재 이 분야에서 40억달러의 매출을 올리고 있으며, 올해는 약 50억달러 연간 매출을 예상한다"고 했다. 또 "로봇공학 분야에서 챗GPT와 같은 혁신적인 순간이 코앞에 다가왔다"며 "수년 내에 일반 로봇공학 분야에서 매우 빠르고 놀라운 돌파구들을 목격하게 될 것"이라고 강조했다.

남도영 기자 hyun@techm.kr

<저작권자 Copyright ⓒ 테크M 무단전재 및 재배포 금지>