[AI리포터]
[디지털투데이 AI리포터] 인공지능(AI) 모델을 실행하려면 충분한 비디오 램(VRAM)을 갖춘 그래픽카드나 AI 처리 칩이 필요한 가운데, 이를 쉽게 계산할 수 있는 무료 웹앱 'LLM 인퍼런스 : V램 & 퍼포먼스 카큘레이터(LLM Inference: VRAM ＆ Performance Calculator)가 등장했다.
28일(현지시간) 온라인 매체 기가진에 따르면 이 웹앱은 AI 모델과 사용 장치를 선택하면, 필요한 VRAM 용량과 실행 가능 여부를 자동으로 계산해준다. 이는 다양한 장치의 VRAM 용량과 AI 모델의 VRAM 사용량을 비교해, 사용자가 보유한 환경에서 AI를 실행할 수 있는지 빠르게 판단해준다.
기본 설정은 '딥시크-R1 3B' 모델과 'RTX 3060 (12GB)'로 되어 있으며, 이 조합에서는 VRAM 사용률이 66.8%로 충분히 실행 가능하다. 그러나 모델을 '라마 3.1 8B'로 변경하면 18.38GB 이상의 VRAM이 필요해 'RTX 3060'으로는 실행할 수 없다. 반면, 'RTX 5090 (32GB)'로 선택하면 단일 카드로도 실행이 가능하다.
또한, 데이터센터용 장치인 'H100', 'H200'과 같은 고사양 장비 시뮬레이션도 지원한다. '라마 3 70B' 모델을 'H100 (80GB)'로 실행하려면 단일 카드로는 불가능하지만, 3대를 병렬로 연결하면 실행할 수 있다는 결과를 보여준다. 또한 웹앱 하단에는 선택한 AI 모델과 장치 조합에 따른 텍스트 처리 속도를 체험할 수 있는 데모도 제공된다.
<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>
 |
[디지털투데이 AI리포터] 인공지능(AI) 모델을 실행하려면 충분한 비디오 램(VRAM)을 갖춘 그래픽카드나 AI 처리 칩이 필요한 가운데, 이를 쉽게 계산할 수 있는 무료 웹앱 'LLM 인퍼런스 : V램 & 퍼포먼스 카큘레이터(LLM Inference: VRAM ＆ Performance Calculator)가 등장했다.
28일(현지시간) 온라인 매체 기가진에 따르면 이 웹앱은 AI 모델과 사용 장치를 선택하면, 필요한 VRAM 용량과 실행 가능 여부를 자동으로 계산해준다. 이는 다양한 장치의 VRAM 용량과 AI 모델의 VRAM 사용량을 비교해, 사용자가 보유한 환경에서 AI를 실행할 수 있는지 빠르게 판단해준다.
기본 설정은 '딥시크-R1 3B' 모델과 'RTX 3060 (12GB)'로 되어 있으며, 이 조합에서는 VRAM 사용률이 66.8%로 충분히 실행 가능하다. 그러나 모델을 '라마 3.1 8B'로 변경하면 18.38GB 이상의 VRAM이 필요해 'RTX 3060'으로는 실행할 수 없다. 반면, 'RTX 5090 (32GB)'로 선택하면 단일 카드로도 실행이 가능하다.
또한, 데이터센터용 장치인 'H100', 'H200'과 같은 고사양 장비 시뮬레이션도 지원한다. '라마 3 70B' 모델을 'H100 (80GB)'로 실행하려면 단일 카드로는 불가능하지만, 3대를 병렬로 연결하면 실행할 수 있다는 결과를 보여준다. 또한 웹앱 하단에는 선택한 AI 모델과 장치 조합에 따른 텍스트 처리 속도를 체험할 수 있는 데모도 제공된다.
<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>
이 기사의 카테고리는 언론사의 분류를 따릅니다.