AI 반도체 스타트업 하이퍼엑셀, 라마3 구동 국내 최초 성공

자체 개발 서버 오리온 활용, 라마3 구동 성공
메타 서비스 비교했을 때 속도 30~50% 향상
“복잡한 추론 과정에서 효과적으로 활용 가능”

김주영 하이퍼엑셀 대표

국내 인공지능(AI) 반도체 스타트업 하이퍼엑셀이 지난 4월 19일에 공개된 메타의 생성형AI ‘라마3’ 를 자사가 개발한 AI 서버로 구동시키는 데 성공했다. 라마3가 OpenAI의 초거대 모델인 GPT4의 대체 모델로 주목받고 있는 가운데, 하이퍼엑셀의 AI 추론 서버가 메타의 자체 서비스 대비 속도가를 크게 향상시킨 것이다.

하이퍼엑셀은 지난 24일 자사가 개발한 AI 반도체 서버 ‘오리온’으로 메타의 라마3를 구동시켜본 결과 생성형AI의 답변 속도가 메타의 서비스 대비 30~50% 이상 향상됐음을 확인했다고 밝혔다.

하이퍼엑셀은 오픈소스로 공개된 라마3를 복사한 뒤(맵핑) 이를 자사의 오리온 서버로 구동시켰다. 그 뒤 라마3(8B 모델)와 동일한 질문을 하면서 추론 과정을 비교했다. 그 결과 답변 속도가 메타 서비스보다 30~50% 이상 현저하게 빠른 것을 확인했다. 하이퍼엑셀은 이 과정을 유튜브에 공개했다. 하이퍼엑셀에 따르면 8B 모델보다 큰 70B 모델에서도 동일한 결과를 얻었다.

메타는 지난달 4만9000여개의 엔비디아 H100 GPU로 구성된 AI 전용 인프라를 공개한 바 있다. 라마3가 GPU를 기반으로 라마3를 구동시키는 만큼, 추론 과정에 있어서는 하이퍼엑셀의 오리온이 GPU 못지않은 성능을 가지고 있음을 입증한 셈이다.

김주영 하이퍼엑셀 대표는 “오리온 LPU칩이 거대언어모델(LLM) 추론 환경에 특화되도록 설계되어 있어 추론 속도가 향상됨을 확인했다”라며 “특히 코딩과 같이 복잡한 추론 과정에서는 성능이 더 향상됐음을 확인했다”라고 말했다.

하이퍼엑셀이 지난해 10월 개발 완료와 함께 공개한 오리온 서버는 초거대 AI에 특화된 반도체 ‘LPU’가 탑재되어 있다. 김 대표는 “LPU는 챗GPT처럼 연산 비용이 많이 드는 LLM에 최적화된 AI 반도체”라며 “엔비디아의 GPU가 학습에 최적화됐다면 오리온은 추론에 최적화된 성능을 가지고 있어 생성형AI의 처리 속도를 높일 수 있다”라고 설명했다. 하이퍼엑셀은 LLM에 오리온을 활용할 경우 엔비디아의 GPU 와 비교했을 때 가격 대비 성능이 2.4배 뛰어나다고 밝혔다.

현재 확인된 라마3를 자사가 개발한 AI 반도체 서버로 구동에 성공한 기업은 미국의 팹리스 ‘그로크(Groq)’와 미국의 AI 스타트업 ‘삼바노바 시스템즈 (Sambanova Systems)’ 등에 불과하다. 김 대표는 “라마3가 발표된 지 1주일도 되지 않아 성공적인 구동을 통해 하이퍼엑셀의 기술력과 서비스 안정성이 재입증됐다”라며 “LLM 추론 분야에서 압도적인 경쟁력을 기반으로 향후 국내외 LLM 서비스 기업에 맞춤화된 인프라를 제공해 나갈 것”이라고 말했다.

현재 오픈AI의 챗GPT와 같은 LLM 기반의 AI는 고성능 GPU가 필요하다. 머신러닝 기반의 AI는 수많은 데이터를 학습해 확률적으로 가장 높은 답을 찾아 내놓는데, 이러한 모델 학습을 할 때 GPU가 가진 빠른 병렬 연산이 필요하기 때문이다. 엔비디아의 GPU 가격이 대당 수천만 원에 달하는 만큼 여러 테크 기업들은 AI 개발을 위해 천문학적인 비용을 GPU 개발 인프라에 쏟아붓고 있다. 하지만 학습된 모델을 서비스하는 추론 연산에 있어서 가속기와 메모리 사이의 데이터 접근과 대역폭이 중요한 만큼 GPU는 비효율적일 수 있다. GPU 자체가 LLM을 위해 최적화된 제품이 아니기 때문이다.

하이퍼엑셀이 개발한 AI 반도체 LPU는 향후 LLM 기반의 생성형 AI 서비스의 추론 분야에서 GPU를 대체할 수 있는 반도체로 주목받고 있다. LPU란 LLM 추론 연산에 최적화된 가속 반도체인데, 대역폭을 높여 데이터 전송 속도를 최적화하고 연산 능력이 빠르다는 장점을 가지고 있다. 하이퍼엑셀을 설립한 김주영 대표는 2012년부터 2019년까지 마이크로소프트(MS) 하드웨어 엔지니어로 일했으며 현재는 KAIST AI반도체시스템연구센터 센터장을 맡고 있다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]