CPU와 GPU는 이제 더 이상 최첨단이 아니다. 오늘날 최신 기술의 중심에는 NPU(Neural Processing Unit)가 있으며, 하드웨어 제조사들은 NPU 성능을 대대적으로 홍보하고 있다. NPU는 전력 효율적인 방식으로 AI 작업을 가속화하도록 설계된 컴퓨터 부품으로, 강력한 AI 기능을 갖춘 새로운 윈도우 데스크톱 애플리케이션을 가능하게 한다. 윈도우 PC에 NPU를 탑재하는 목적은 여기에 있다.
결국 모든 PC에는 NPU가 탑재될 것이지만, 현재로서는 일부 노트북에만 포함되어 있다. NPU에 대해 알아야 할 모든 것과 윈도우 사용자에게 어떤 의미인지 살펴보자.
NPU의 이해
NPU는 AI와 머신러닝 작업에 최적화된 특별한 유형의 프로세서다. 이름은 AI 모델이 신경망(neural network)을 사용한다는 점에서 유래했다. 신경망은 서로 연결된 수많은 노드가 정보를 주고받는 방대한 네트워크로, 전체 개념은 인간의 뇌 작동 방식에서 착안한 것이다.
NPU는 GPU처럼 별도로 구입해 장착하는 장치가 아니다. 대신, NPU는 인텔의 코어 울트라, AMD의 라이젠 AI, 퀄컴의 스냅드래곤 X 엘리트/플러스 같은 최신 프로세서 플랫폼에 “패키지” 형태로 포함되어 있다. 이들 플랫폼은 CPU와 통합 GPU, NPU를 함께 갖추고 있다.
그동안 컴퓨터는 중앙처리장치(CPU)나 그래픽처리장치(GPU)를 통해 작업을 처리해왔다. 이는 AI PC(즉, NPU가 탑재된 컴퓨터)에서도 마찬가지다. CPU는 컴퓨터의 대부분 작업을 처리한다. 그러나 GPU는 이름과 달리 단지 그래픽이나 게임만을 위한 것은 아니다. GPU는 다른 유형의 컴퓨팅 작업에 최적화되어 있어, 암호화폐 채굴이나 고성능 로컬 AI 모델 실행 등 비게임 분야에서도 필수적인 역할을 해왔다. 사실 GPU는 이런 AI 작업에 매우 적합하지만, 전력을 많이 소모한다.
바로 이 지점에서 NPU가 등장한다. NPU는 AI 작업 연산에 있어서 CPU보다 빠르지만, GPU만큼은 아니다. 대신, 같은 AI 작업을 처리할 때 GPU보다 훨씬 적은 전력을 사용한다는 것이 차별점이다. 그리고 NPU가 AI 관련 작업을 처리하는 동안 CPU와 GPU는 각자의 작업을 처리할 수 있어 전체 시스템 성능을 향상시킨다.
굳이 NPU를 사용하는 이유
예를 들어 스테이플 디퓨전 같은 AI 이미지 생성 소프트웨어를 사용할 때, 최대치의 성능이 필요하다면, GPU가 가장 좋은 선택일 것이다. 그래서 엔비디아는 자사의 GPU를 NPU보다 우월한 “프리미엄 AI” 하드웨어로 광고한다.
하지만 때로는 일반적인 CPU로는 과부하가 걸릴 AI 기능을 실행하고 싶지만, GPU 수준의 고성능까지는 필요하지 않을 때도 있다. 또는 노트북을 사용하는 중이라 배터리 소모를 최소화하며 AI 기능을 활용하고 싶을 수도 있다. 이때 NPU가 있다면, 노트북은 로컬(온디바이스) AI 작업을 수행할 수 있으며, 발열이 적고 배터리 소모도 많지 않다. 게다가 이런 AI 작업을 수행하면서도 CPU와 GPU 자원을 소모하지 않기에, PC의 다른 작업도 원활하게 병행할 수 있다.
AI를 사용할 일이 많지 않은 사용자에게도 NPU는 다른 용도로도 유용하다. CES 2024에서 HP는 NPU를 비디오 스트리밍 작업에 활용하는 게임 스트리밍 소프트웨어를 선보였는데, 이 소프트웨어는 GPU를 게임 구동에 전용으로 사용할 수 있게 해준다. NPU의 추가 연산 능력을 활용함으로써, 스트리밍 소프트웨어가 GPU 자원을 차지하지 않고도 작동하며, 동일한 작업을 CPU로 할 때보다 훨씬 빠르다.
윈도우 PC 소프트웨어가 NPU를 이용하는 방법
AI PC에서 NPU는 운영체제와 시스템에 설치된 애플리케이션 모두가 사용할 수 있다. 예를 들어, 인텔 메테오 레이크 하드웨어가 탑재된 노트북이 있다면, 내장 NPU로 윈도우 스튜디오 이펙트(Windows Studio Effects)를 실행할 수 있다. 이 기능은 배경 흐림이나 강제 시선 맞춤 같은 AI 기반 웹캠 효과를 제공하며, 웹캠을 사용하는 모든 애플리케이션에서 작동한다.
마이크로소프트의 코파일럿+ PC(첫 제품은 퀄컴 스냅드래곤 X 칩 기반)는 NPU를 활용한 자체적인 AI 기능을 제공한다. 예를 들어, 윈도우 리콜(Windows Recall) 기능은 NPU가 필수다.
올해 초, AMD와 인텔 프로세서도 기존에 퀄컴 PC에만 제공되던 코파일럿+ 기능을 이용할 수 있게 됐다. 단, 최신 AMD 라이젠 AI 300 시리즈 및 인텔 코어 울트라 시리즈 2(루나 레이크) 프로세서를 탑재한 PC에 한정된다. 그리고 이들 기능은 윈도우에 내장된 기능에 불과하다. 앱 개발자 또한 다양한 방식으로 NPU를 활용할 수 있다. 예컨대, 오다시티(Audacity)나 GIMP에 컴퓨터의 NPU를 활용하는 AI 기반 오디오 및 사진 편집 플러그인이 등장해도 이상할 것 없다.
이처럼 가능성은 무궁무진하지만, 하드웨어 자체는 아직 초기 단계이므로 그 잠재력이 온전히 실현되기까지는 시간이 걸릴 것이다.
AI 소프트웨어에 NPU가 꼭 필요한 이유
현재 대부분 AI 기능이 있는 애플리케이션은(마이크로소프트의 코파일럿 챗봇 포함) NPU를 아직 활용하지 않는다. 이들 기능은 AI 모델을 멀리 떨어진 클라우드 서버에서 실행한다. 그렇기 때문에 마이크로소프트 코파일럿이나 챗GPT, 구글 제미나이, 어도비 파이어플라이 등의 AI 솔루션은 구형 윈도우 PC, 크롬북, 맥, 안드로이드 폰 등 어떤 디바이스에서도 실행할 수 있다.
그러나 이런 서비스가 클라우드에서 AI 모델을 실행하는 데는 많은 비용이 든다. 예컨대 마이크로소프트는 코파일럿 AI 작업을 처리하기 위해 데이터센터에 막대한 비용을 지출하고 있다. 기업은 이런 AI 작업을 사용자의 로컬 PC로 분산시켜 클라우드 비용을 줄이고자 한다.
물론, 이는 단순한 비용 절감 이상의 의미도 있다. 연산 집약적인 AI 작업을 로컬 장치에서 실행할 수 있다는 점은 사용자에게도 큰 이점이다. 예컨대 오프라인 상태에서도 AI 기능이 작동하고, 모든 데이터를 클라우드 서버로 업로드하지 않아도 되므로 개인 데이터를 보호할 수 있다. 특히, 데이터에 대한 통제권을 확보하려는 기업에 큰 장점이 된다.
현재 이용할 수 있는 NPU와 처리 성능
NPU 성능은 TOPS(초당 조 단위 연산, trillion operations per second)로 측정된다. 이를 이해하기 쉽게 설명하면, 보급형 NPU는 10TOPS 처리 능력을 가진다. 반면 마이크로소프트의 코파일럿+ PC가 요구하는 성능은 최소 40TOPS이다. 현재 사용 가능한 NPU는 다음과 같다.
인텔 코어 울트라 시리즈(메테오 레이크). 인텔의 1세대 코어 울트라 NPU는 최대 11TOPS를 제공한다. 이는 코파일럿 + PC로는 부족하지만, 윈도우 스튜디오 이펙트 및 일부 서드파티 애플리케이션에서는 잘 작동한다. 동일한 NPU가 인텔의 최신 애로우 레이크 게이밍 노트북에도 탑재되어 있다.
- - 인텔 코어 울트라 시리즈 2(루나 레이크). 인텔 루나 레이크 칩은 최대 48TOPS 성능의 NPU를 포함하며, 코파일럿+ PC의 요건을 충족한다.
- - AMD 라이젠 Pro 7000 및 8000 시리즈. AMD는 인텔보다 먼저 PC용 NPU를 출시했지만, 라이젠 7000 시리즈 프로세서의 NPU는 12~16TOPS 수준의 성능을 제공한다.
- - AMD 라이젠 AI 300 시리즈. 최신 AMD 라이젠 AI 300 시리즈 프로세서의 NPU는 최대 50TOPS를 제공하며, 코파일럿+ PC 기준을 초과한다.
- - 퀄컴 스냅드래곤 X 엘리트/플러스. 퀄컴 프로세서는 최대 45TOPS 성능의 퀄컴 헥사곤 NPU를 포함한다.
PC에만 NPU가 있는 것은 아니다. 애플의 뉴럴 엔진(Neural Engine)은 처음으로 시장의 주목을 받은 대표적인 NPU였으며, 구글의 텐서(Tensor) 플랫폼, 삼성 갤럭시 스마트폰 등에도 NPU가 탑재되어 있다.
지금 NPU 탑재 PC를 구매해야 할까?
솔직히 말하면, 최첨단 기술을 먼저 받아들이는 건 위험을 감수해야 하는 일이다. 만약 미래를 대비하고자 하는 마음으로 메테오 레이크 기반 노트북을 일부러 구매했다면, 이후 마이크로소프트가 해당 NPU는 코파일럿+ PC 기능을 사용하기엔 너무 느리다고 발표했을 때 실망했을 수 있다. 물론, 인텔은 여기에 동의하지 않으며, 해당 노트북이 처음 출시될 때 제공하던 모든 기능은 그대로 사용할 수 있다고 강조했다.
그나마 다행인 점은, 코파일럿+ PC 기능이 아직까지는 그렇게 흥미로운 수준이 아니라는 것이다. 그리고 가장 널리 쓰이는 AI 도구는 대부분 NPU를 전혀 활용하지 않는다.
하지만, 만약 필자가 지금 노트북을 산다면, 될 수 있으면 NPU가 탑재된 제품을 선택할 것이다. NPU를 탑재한 제품을 사기 위해 특별한 노력을 기울일 필요는 없다. 지금은 그저 최신 하드웨어 플랫폼에 기본적으로 포함된 기능일 뿐이다. 그리고 이런 최신 프로세서 플랫폼은 배터리 수명 증가 같은 다른 중요한 장점도 제공한다.
다만, 고성능 NPU는 지금으로선 최신 노트북에만 탑재되어 있다. 그리고 종종 이전 세대 노트북이 대폭 할인된 가격에 판매되기도 한다. 최신 모델과 거의 비슷한 성능을 갖춘 제품도 있기 때문에, 특별히 AI 도구를 실행할 계획이 없다면, 단지 NPU 하나 때문에 많은 비용을 추가로 지출할 이유는 없을지도 모른다.
현재 시점에서 주요 AI 도구는 대부분 클라우드에서 실행되거나 적어도 클라우드 실행 옵션을 제공한다. 따라서 어떤 윈도우 노트북, 크롬북, 안드로이드 태블릿, 아이패드에서도 이들 AI 도구를 실행할 수 있다.
데스크톱의 경우 상황이 다르다. 인텔의 데스크톱 CPU에는 아직 NPU가 없다. AMD의 라이젠 AI NPU가 탑재된 데스크톱 칩을 찾아볼 수도 있지만, AMD의 Ryzen 7000 및 8000 시리즈 칩 역시 코파일럿+ PC에 걸맞는 성능을 제공하지 않는다. 따라서 만약 지금 데스크톱 PC를 조립하고 있다면, NPU는 당장 고려할 필요가 없는 요소다.
고성능 NPU 탑재 PC를 찾고 있다면, ARM 기반 윈도우 노트북으로는 서피스 랩톱 7, AMD 라이젠 AI 300 시리즈 노트북으로는 에이수스 프로아트 PX13, 인텔 코어 울트라 시리즈 2 노트북으로는 에이수스 젠북 S 14가 있다.
dl-itworldkorea@foundryco.com
Chris Hoffman editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.