자사 'PM1753' LLM에 적용, 추론효율 1.5배 높여
'응답 지연' 현상 완화 실증… 엔비디아도 채택 '주목'
 |
삼성전자의 기업용SSD인 PM1753 /사진제공=삼성전자 |
삼성전자가 AI(인공지능) 추론서비스에서 발생하는 메모리 부족현상을 해결하기 위한 방안으로 eSSD(기업용 솔리드스테이트드라이브)를 활용한 구조를 선보였다.
기존 대비 추론효율이 1.5배(토큰생성량 기준) 개선된 것으로 나타났다. 엔비디아도 같은 방식에 주목하면서 AI데이터센터에서 SSD의 역할확대가 기대된다.
15일 관련업계에 따르면 삼성전자는 최근 자사의 eSSD인 PM1753을 활용한 'KV(Key-value) 캐시 오프로딩' 방식을 LLM(거대언어모델) 서비스에 적용할 경우 동일한 하드웨어에서 1.7배 더 많은 사용자를 지원할 수 있다는 실험결과를 도출했다.
TPS(초당 토큰생성량)은 1.5배 증가하는 것으로 나타났다. 토큰은 AI가 문장을 생성할 때 사용하는 최소단위로 TPS는 AI의 응답생성 속도를 가늠하는 지표다.
LLM은 서비스 과정에서 대화의 맥락을 유지하기 위해 'KV 캐시'라는 임시 데이터를 생성한다. 하지만 문맥이 길어질수록 해당 데이터의 크기가 급격히 커져 AI GPU(그래픽처리장치)의 HBM(고대역폭메모리) 용량을 초과하는 병목현상이 생긴다.
사용자가 많은 환경에서는 KV 캐시로 HBM이 빠르게 채워지면서 응답지연도 발생한다.
삼성전자는 이런 문제를 해결하기 위해 KV 캐시를 GPU HBM이 아닌 SSD에 저장하는 오프로딩 방식을 실험했다. 오프로딩에 활용된 PM1753은 지난해 출시된 eSSD로 생성형 AI의 추론과 학습환경을 겨냥해 개발된 제품이다.
최대 초당 14.5GB(기가바이트)의 순차읽기 속도 등으로 오프로딩에 필요한 대역폭과 속도를 갖췄다.
삼성전자가 엔비디아의 H100 GPU 환경에서 실시한 검증결과에 따르면 PM1753을 통한 KV 캐시 오프로딩 기술을 적용했을 때 동일한 하드웨어에서 동시사용자 수용능력이 1.7배 향상됐고 TPS 역시 1.5배 늘릴 수 있었다.
특히 경제성과 에너지효율 측면에서도 개선효과가 뚜렷했다. KV 캐시 오프로딩을 통해 GPU의 연산부하를 낮춘 결과 전체 시스템 전력소비량은 기존 방식 대비 47% 감소했다. 에너지효율은 최대 2.9배 개선된 것으로 나타났다.
비용효율성도 높다. 서버비용의 약 77%를 차지하는 GPU의 활용도를 극대화함으로써 전체 시스템 비용의 약 4%에 불과한 SSD 추가만으로 1.5배 높은 가격 대비 성능을 달성할 수 있다는 분석이다.
직접적인 성능향상 외에도 데이터센터의 열관리, 전력효율, 장기적인 운영안정성 측면에서 추가적인 개선효과도 기대된다. SSD를 활용한 KV 캐시 오프로딩은 엔비디아도 주목하는 방식이다.
엔비디아는 'CES 2026'에서 추론과정에서 생성되는 컨텍스트 메모리(context memory)를 GPU HBM에만 의존하지 않고 SSD와 네트워크 스토리지(저장장치)로 확장하는 방향을 제시했다. 이는 HBM 증설만으로는 해결하기 어려운 메모리 병목을 저장장치 확장으로 보완하려는 전략이다.
CES 특별연설에서 젠슨 황 엔비디아 CEO(최고경영자)는 "'컨텍스트 메모리'가 담기기에는 HBM의 용량이 충분하지 않다"며 "다음 해결책은 당연히 네트워크를 통해 '저장장치'를 활용하는 것"이라고 말했다. 엔비디아의 이런 접근이 본격화하면 AI데이터센터 전반에서 SSD 수요확대로 이어질 가능성도 있다.
업계 관계자는 "HBM 용량부족 문제를 가격이 비싼 HBM 증설이 아니라 SSD를 활용해 일부 해소하는 방식"이라며 "AI 추론환경에서 SSD의 역할이 커지면서 고성능 eSSD를 중심으로 새로운 수요가 형성될 수 있다"고 말했다.
김남이 기자 kimnami@mt.co.kr
Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.
이 기사의 카테고리는 언론사의 분류를 따릅니다.