데이터 수송 '파이프라인' 확장…AI공장 미래 달렸다

지난 12일(현지시간) 미국 캘리포니아주 샌프란시스코 모스코니센터에서 열린 데이터+AI 서밋 2024 기조연설에서 알리 고드시 데이터브릭스 CEO(왼쪽)가 젠슨 황 엔비디아 CEO와 대담을 하고 있다. 데이터브릭스

데이터 및 인공지능(AI) 기업 데이터브릭스가 미국 캘리포니아주 샌프란시스코 모스코니센터에서 6월 10~13일(현지시간) 연례 콘퍼런스인 '데이터+AI 서밋 2024'를 개최했다. 이 자리에서 데이터브릭스는 엔비디아와 협력을 강화하고, 유니티 카탈로그를 오픈소스로 공개하는 등 새로운 업데이트 내용을 공유했다.

12일 개최된 기조연설에는 젠슨 황 엔비디아 최고경영자(CEO)가 직접 무대에 올라 알리 고드시 데이터브릭스 공동창업자 겸 CEO와 대담을 나눴다. 두 회사는 데이터 및 AI 워크로드를 최적화하기 위해 데이터브릭스의 데이터 인텔리전스 플랫폼에 엔비디아 쿠다(CUDA) 가속 컴퓨팅을 도입한다고 발표했다. 기업 데이터를 생성 AI 애플리케이션에 사용하기 위해서는 데이터 준비, 큐레이션 및 처리 워크로드가 필수적이다.

두 회사는 AI 팩토리를 만들기 위한 AI 개발 파이프라인의 효율성·정확성 및 성능을 향상하기 위해 협력한다는 계획이다. AI 팩토리는 생성형 AI 시대에는 데이터를 AI 모델에 입력하면 제품에 해당하는 토큰이 생산된다는 개념이다. 데이터브릭스는 데이터 인텔리전스 플랫폼에 엔비디아 그래픽처리장치(GPU) 가속을 위한 기본 지원을 추가한다. 그동안 양사가 기업에 풍부한 경험을 제공하기 위해 기존 머신러닝(ML) 모델 학습, 생성형 AI 애플리케이션 구축 및 배포, 디지털 트윈 최적화 등 부문에서 협력해온 것의 연장선이다.

고드시 CEO는 "엔비디와의 파트너십을 지속적으로 확장하고 분석 사용 사례와 AI에 걸쳐 고객을 위한 데이터 인텔리전스의 약속을 이행하게 돼 기쁘다"며 "엔비디아와 함께 모든 조직이 자체 데이터를 기반으로 자체 AI 팩토리를 구축하도록 지원할 수 있기를 기대한다"고 말했다.

황 CEO는 "데이터는 AI 산업 혁명의 원동력이며, 가속 컴퓨팅으로 데이터 처리 에너지 수요를 절감하는 것은 지속 가능한 AI 플랫폼을 구현하기 위한 핵심 요건"이라며 "데이터브릭스는 대규모 데이터 처리의 선구자로 데이터브릭스의 핵심 컴퓨팅 스택에 엔비디아 쿠다 가속을 도입함으로써 전 세계 고객이 데이터를 사용해 기업용 생성형 AI를 구동할 수 있는 기반을 마련할 예정"이라고 말했다.

데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본 지원을 개발할 계획이다. 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 향상한다.

포톤은 데이터브릭스의 서버리스 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터브릭스와 엔비디아는 이번 협업으로 가격 대비 성능의 수준을 한 단계 끌어 올린다는 계획이다.

두 회사는 클라우드 서비스 부문에서도 협력을 강화한다. 엔비디아는 6월 초 개최된 컴퓨텍스에서 데이터브릭스의 오픈소스 모델인 DBRX가 엔비디아의 NIM 마이크로서비스로 제공된다고 발표했다. 엔비디아 NIM 추론 마이크로서비스는 애플리케이션에 생성형 AI 모델을 추가할 수 있는 간단하고 표준화된 방식을 제공한다. 올해 3월 출시된 DBRX는 엔비디아의 AI 컴퓨팅 클라우드 서비스인 DGX 클라우드로 학습됐다.

이번 데이터+AI 서밋 2024에는 황 CEO 외에도 페이페이 리 스탠퍼드대 교수, 최예진 워싱턴대 교수 등이 연사로 참석했다. 최 교수는 서울대를 졸업하고 AI에 대한 연구 성과를 인정받아 2022년 허준이 프린스턴대 교수와 함께 맥아더펠로로 선정되기도 했다.

최 교수는 이날 기조연설에 참여해 최신 AI 연구 결과를 소개하면서 앞으로 AI는 인간이 만든 데이터보다 AI가 만든 합성 데이터로 학습하는 것이 많아질 것이라고 전망했다. 또 AI 모델 크기뿐만 아니라 데이터의 질과 다양성도 중요해질 것이라고 설명했다.

데이터브릭스의 데이터 인텔리전스 플랫폼은 엔드 투 엔드 생성형 AI 애플리케이션 개발, 평가, 배포, 보안 및 모니터링을 위한 가장 포괄적인 플랫폼을 제공한다. 고객은 데이터브릭스 모자이크 AI의 데이터 중심 접근 방식을 통해 유연한 개방형 플랫폼의 이점을 누리고, 안전하고 정확하며 관리 가능한 고유 데이터를 기반으로 생성형 AI 애플리케이션을 손쉽게 확장할 수 있다.

데이터브릭스는 이번 행사에서 2021년 출시한 데이터 및 AI 카탈로그인 '유니티 카탈로그'을 오픈소스로 공개한다고 발표했다.

한편 데이터브릭스는 최근 라이언 블루, 대니엘 윅스, 제이슨 리드가 설립한 데이터 관리 스타트업인 타뷸러의 전략적 인수를 발표했다. 이 회사는 오픈소스 레이크하우스 형식인 아파치 아이스버그를 만든 팀으로 데이터브릭스가 만든 리눅스 파운데이션 델타 레이크와 시너지 효과를 낸다는 계획이다.

데이터브릭스는 데이터 및 AI 기능에 대한 수요 증가에 힘입어 올 1월 31일 마감된 회계연도를 기준으로 전 세계적으로 16억달러(약 2조2000억원) 이상 매출을 기록했으며, 연간 50% 이상 성장을 달성했다.

[실리콘밸리 이덕주 특파원]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]