인퍼런스 시장, 오는 2030년 254조 규모…인텔, 비용·운영 부담 줄인다
 |
[디지털데일리 옥송이 기자] "AI라고 하면 흔히 생성형 AI를 떠올리시지만, 실제로는 머신러닝과 소규모 딥러닝 워크로드가 여전히 큰 비중을 차지합니다. 인텔은 CPU와 가속기 '가우디'를 앞세워 기업들이 더 쉽고 저렴하게 AI 서비스를 도입할 수 있도록 돕겠습니다."
18일 디지털데일리가 서울 여의도 전경련 회관에서 '제3회 DIC 2025'를 개최했다. 조민성 인텔코리아 상무는 글로벌 AI 시장 동향과 효율적인 엔터프라이즈 AI 인퍼런스 전략을 소개하며 위와 같이 말했다.
IDC에 따르면 오는 2028년이면 전세계 AI 시장은 약 6250억달러 규모로 성장할 것으로 예측된다. 폭발적 성장세에도 불구, 전체 AI 시장에서 생성형 AI가 차지하는 비중은 34% 수준이다. 금융이나 리테일, 소프트웨어 인프라 등 다양한 산업에서는 여전히 머신러닝 기반 수요가 크다.
인텔은 해당 지점을 겨냥, CPU 단독 인퍼런스와 CPU+GPU 인퍼런스, 가속기 활용 인퍼런스 영역을 각각 전개한다는 전략이다.
조 상무는 "많은 기업은 회계 보고서 등을 작성할 때 머신러닝을, 리테일 분야는 컴퓨터 비전 기술을 많이 활용한다"며, "인텔이 바라볼 때 AI시장은 GPU 없이 CPU만으로 동작할 수 있는 오프로드와 CPU와 GPU를 같이 해야 하는 생성형 AI분야 등으로 나뉜다"고 설명했다.
이를테면 머신러닝 워크로드에서 1.27배의성능 우위를 가진 CPU 제온은 RAG(검색증강생성), 임베딩, 리랭킹, 소형 LLM 추론에 최적화된다. 스몰 모델 딥러닝 인퍼런스 및 200억 파라미터까지의 LLM은 AMX 및 AVX-512 등 전용 명령어로 효율을 높인다.
200억 파라미터 이상의 대형 모델은 가우디3로 활용한다. 올초 출시한 가우디3는 IBM클라우드에서 사용 중이며, 엔비디아 H200과 비교했을 때 43% 성능이 높다는 게 인텔 측 분석이다. 또한 가우디3가 쓰인 라마 405B와 H100을 비교했을 때는 335% 가량 경제적이다.
조 상무는 "인텔 가우디3는 엔비디아 제품과 비교해서 H100과 H200의 중간 정도 포지셔닝을 하고 있다"고 덧붙였다.
◆ 오픈소스 플랫폼 'OPEA'…기업 맞춤형 AI 손쉽게
인텔은 기업 맞춤형 AI 도입을 쉽게 할 수 있는 방안으로 'OPEA(Open Platform for Enterprise AI)'를 내세웠다. 이 플랫폼은 번역·코드 생성·이미지 생성 등 다양한 유즈케이스를 모듈형 컨테이너 형태로 제공한다. 기업은 필요한 부분만 선택해 조립하듯 구현할 수 있다는 점이 강점이다.
또한 인텔이 가지고 있는 레퍼런스 아키텍처를 기반으로 AI에 필요한 소트프웨어를 이용할 수 있으며, 벤치마트 도구 등도 함께 제공된다.
조 상무는 "다양한 유스케이스를 제공하는 동시에 레퍼런스 코드까지 함께 드리고 있어, 기업들은 상황에 맞게 활용할 수 있다"면서, AMD, 레드햇 등 글로벌 IT 기업들이 참여함으로써 생태계가 지속 확대되고 있다는 점도 강조했다.
아울러 인텔은 'AI for Enterprise Inference' 스택을 통해 실제 운영 환경에서 안정성을 보장한다. 그는 "사실 인텔 뿐 아니라, 많은 기업들이 이런 인퍼런스 시장에 집중하고 있다. 2030년이 되면 올해보다 약 2배 이상 성장할 것으로 예상한다"고 설명했다.
이어 "많은 기업들이 AI 도입을 서두르고 있지만, 실제 서비스 구축은 녹록지 않아 시행착오를 겪는다"며 "그래서 이 소프트웨어가 주는 가치는 사실 개발자 입장에서 보면 다른 것들은 신경 쓸 필요 없이 API 키와 API URL을 가지고 좀 더 개발에만 집중할 수 있을 것"이라고 말했다.
- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -
이 기사의 카테고리는 언론사의 분류를 따릅니다.