 |
인텔 Gaudi 3 AI 가속기 32노드 클러스터 레퍼런스 디자인. 사진=인텔 홈페이지 |
 |
블랙웰 AI팩토리 이미지. 사진=엔비디아 |
 |
애플의 뉴럴엔진 M4. 사진=애플 |
[박우용 편집위원] [디지털포스트(PC사랑)=박우용 편집위원] 온디바이스 AI 확산 배경
AI는 더 이상 데이터센터에만 머무르지 않는다. 이제는 사용자의 PC 안에서 직접 작동하며, 지연 없이 반응하고, 인터넷 연결 없이도 동작하며, 개인 데이터를 외부로 전송하지 않고 보호할 수 있는 온디바이스 AI가 새로운 컴퓨팅 기준이 되고 있다. 이를 통해 텍스트 자동완성, 회의 자막, 문서 요약, 사진 보정 등 사용 빈도가 높은 기능을 로컬에서 바로 수행할 수 있게 되면서 AI PC에 대한 관심이 본격화되고 있다.
온디바이스 AI의 한계와 현실적 목표
AI PC는 클라우드 서버의 연산 성능을 완전히 대체할 수 없다. 연산 처리 능력, 메모리 용량, 전력 공급, 냉각 구조 등 물리적 한계가 존재하기 때문이다. 특히 초거대 언어 모델이나 멀티모달 생성형 AI는 여전히 서버 환경에 의존할 수밖에 없다.
하지만 AI PC의 목표는 서버 수준의 성능이 아니라, 자주 사용하는 AI 기능을 사용자 기기 안에서 안전하고 빠르게 실행하는 것에 있다. 문장 추천, 음성 인식, 사진 보정처럼 일상적이고 반복적인 기능을 로컬에서 처리함으로써 사용자는 더 빠른 반응 속도와 더 높은 프라이버시 보호를 누릴 수 있다.
AI 최적화를 위한 연산 유닛 재구성
AI PC에 내장되는 최신 프로세서는 CPU, GPU, NPU를 각기 다른 기능에 따라 분리해 배치하고, 이를 하나의 칩이나 시스템 내에서 고속으로 연동한다. 이러한 구조는 전통적인 단일 연산 프로세서 구조에서 벗어나, 병렬 연산과 전력 효율이라는 두 가지 조건을 동시에 만족시키기 위해 고안됐다.
CPU는 명령어 제어와 논리 연산, GPU는 대량 병렬 벡터 연산, NPU는 AI 추론 전용 정수 연산을 각각 담당한다. 특히 NPU는 텍스트 요약, 음성 분석, 이미지 분류 등 실용적인 AI 기능을 저전력으로 처리할 수 있도록 설계된다. 기업별로 연산 유닛 간 메모리 연동 구조는 차이가 있지만, 연산 역할 분담과 효율 극대화라는 기본 방향은 모두 공유하고 있다.
한편, 이러한 구조적 설계는 기업마다 차이를 보인다. 인텔은 AI PC용 프로세서에 칩렛 구조를 가장 적극적으로 적용하고 있으며, CPU, GPU, NPU를 타일 단위로 분리해 고속 연동하는 방식을 채택하고 있다. AMD는 데스크탑 CPU에는 칩렛 구조를 활용하지만, 모바일용 AI PC 프로세서에서는 아직 모놀리식 구조가 주류다. 반면, 퀄컴과 애플은 단일 다이에 모든 연산 유닛을 통합하는 SoC 구조를 유지하며, 전력 효율성과 반응 속도 최적화에 집중하고 있다.
기업별 AI 기능 중심 프로세서 설계 전략
인텔(Intel)은 Windows 기반 사무환경에 특화된 AI 기능을 중심으로 Core Ultra 프로세서를 설계했다. 독립 타일 구조로 구성된 이 프로세서에는 AI Boost라는 전용 NPU가 탑재돼 있다. 이를 통해 사용자는 Copilot 기능을 로컬에서 구동하고, 문서 요약, 회의 음성 자막 생성, 화상 프레임 자동 조정 등의 기능을 오프로드할 수 있다. 인텔은 특히 마이크로소프트와의 긴밀한 협력을 기반으로 생산성 중심 AI 최적화를 구현하고 있다.
AMD는 비전 AI 기반의 실시간 영상 처리 기능을 중심으로 Ryzen AI 프로세서를 설계했다. XDNA 아키텍처 기반의 NPU와 GPU를 병렬 연산 구조로 연결해, 회의 배경 흐림, 자동 얼굴 추적, 실시간 자막 생성 등 영상 품질 개선 기능에 특화된 성능을 제공한다. Adobe와 Microsoft Teams와의 최적화를 통해 콘텐츠 크리에이터와 업무 사용자 모두에게 강점을 보인다.
 |
스냅드래곤 엑스 엘리트. 사진=퀄컴 |
퀄컴(Qualcomm)은 모바일 중심의 생성형 AI 활용을 타겟으로 Snapdragon X Elite 프로세서를 출시했다. ARM 아키텍처 기반의 SoC 구조와 고성능 Hexagon NPU는 최대 45 TOPS의 연산 성능을 제공하며, 이를 통해 13B 언어 모델을 로컬에서 구동할 수 있다. 텍스트 생성, 이미지 보정, 지속적인 배터리 최적화 기반의 사용자 경험을 강화하며, 전통적인 PC 칩 제조사와는 다른 방향에서 경쟁력을 발휘하고 있다.
애플(Apple)은 운영체제 전반에 자연스럽게 통합된 AI 경험을 지향하며 M 시리즈 프로세서를 설계했다. Neural Engine이라는 전용 NPU는 16코어 구성으로, 사진 분류, 문서 편집 추천, Siri 음성 맥락 인식 등 macOS 전역에서 AI 기능을 자연스럽게 작동시킨다. 통합 메모리 아키텍처를 기반으로 한 연산 유닛 간 협업 구조와 Core ML 프레임워크를 통해 개발자 생태계 확장까지 고려한 설계를 구현했다.
AI 기능별 요구 성능 기준
AI PC에서 실행되는 대표적인 기능들은 요구되는 NPU 연산량이 기능별로 상이하다.
문서 요약, 자동완성, 대화형 응답 생성과 같은 텍스트 기반 AI 기능은 약 10~15 TOPS 수준의 추론 성능을 요구한다.
회의 자막 생성이나 음성 명령 인식은 5~10 TOPS 정도의 성능이면 충분하며, 사진 보정이나 배경 제거처럼 시각 데이터를 다루는 기능은 15~30 TOPS 정도의 연산 성능이 필요하다.
생성형 텍스트와 이미지 기반 기능을 로컬에서 처리하기 위해서는 30~45 TOPS 이상의 NPU 성능이 요구되며, 멀티모달 추론 기능까지 포함하게 되면 그 이상의 연산 능력이 필요하다.
이러한 성능 기준은 하드웨어 기술이 진화함에 따라 앞으로 점점 높아질 것으로 전망된다.
참고로, 현재 대규모 언어모델(LLM)을 본격적으로 훈련·추론하는 서버급 GPU 시스템의 연산 성능은 수백에서 수천 TOPS, 또는 수십 TFLOPS(부동소수점 연산 기준)에 달한다.
예를 들어 NVIDIA A100은 312 TOPS(INT8 기준), H100은 최대 1000 TOPS에 이르며, 이는 AI PC NPU보다 10배 이상 높은 수준이다.
따라서 AI PC는 초거대 모델을 직접 실행하는 구조가 아니라, 경량화된 모델을 온디바이스에서 즉시 처리하고, 무거운 연산은 클라우드와 연동해 분산 처리하는 하이브리드 AI 플랫폼으로 진화 중이다.
이러한 성능 기준은 하드웨어 기술이 발전함에 따라 점차 상향될 것으로 전망되며, 향후 더 많은 AI 기능이 로컬 환경으로 이전될 가능성도 커지고 있다.
AI PC의 기술 진화와 컴퓨팅 패러다임 전환
AI PC는 단순한 기능 확장이 아니다. 사용자의 작업과 일상에 밀착해 반응하는 새로운 형태의 컴퓨팅 동반자다.
인텔은 Windows 기반 사무환경 최적화, AMD는 실시간 영상 커뮤니케이션, 퀄컴은 생성형 AI와 저전력 모바일 환경, 애플은 OS와 애플리케이션의 통합 경험에 각각 초점을 맞추며 고유의 생태계를 구축하고 있다.
결국 AI PC의 가치는 높은 연산 성능 자체가 아니라, 사용자에게 필요한 기능을 얼마나 자연스럽고 빠르게 제공할 수 있느냐에 있다. 그 중심에는 CPU와 GPU를 넘어서 이제 NPU가 주연으로 자리 잡고 있으며, 하드웨어 설계와 소프트웨어 통합 전략 모두가 새로운 기준점으로 재정의되고 있다.
마침말
AI는 더 이상 원격 서버에 머무는 기술이 아니다.
이제 AI는 사용자의 기기 내부로 들어와 즉시 반응하고, 스스로 판단하며, 데이터를 로컬에서 보호하는 지능형 연산 동반자로 자리 잡고 있다.
AI PC는 이러한 변화의 출발점이며, 컴퓨팅의 중심축이 중앙 집중형에서 분산형·개인화된 구조로 이동하고 있음을 보여주는 결정적 이정표다.
앞으로의 컴퓨팅은 단순한 처리 성능이 아닌, 사용자 곁에서 얼마나 똑똑하고 자연스럽게 작동하는가를 기준으로 평가받게 될 것이다.AI PC는 바로 그 미래를 가장 먼저 구현하는 플랫폼이다.
 |
박우용 실리콘아츠 AI&SW팀 책임연구원. |
박우용 편집위원 약력
▶경력
-실리콘아츠 AI&SW팀 책임연구원, 2023~2025
-모본 SW개발팀 책임연구원, 2020~2023
-멕서스 FW개발팀 선임연구원, 2015~2020
▶전공 분야
-반도체
-임베디드 시스템, 네트워크 Application, 자동자주행보조장치 Application, Soc(BSP), Device Driver, Linux Kernel, BootLoader, 디지털 회로설계.
<저작권자 Copyright ⓒ 디지털포스트(PC사랑) 무단전재 및 재배포 금지>
이 기사의 카테고리는 언론사의 분류를 따릅니다.