AI PC 왜 필요하지? GPU와 어떻게 다르지? [AI PC 어디까지 왔나②]

[최호섭 편집위원]

인공지능 이미지. 사진=챗GPT 생성이미지

[디지털포스트(PC사랑)=최호섭 편집위원 ] 현재 인공지능의 그 기술적 뿌리는 '확률 계산'에 있다. 우리의 뇌는 신경망을 통해 정보를 기억하고, 그 사이의 관계를 바탕으로 새로운 통찰력을 얻어낼 수 있다. 이런 지적 능력을 이야기하는 '지능'은 사람의 고유한 능력으로 꼽힌다.

인공지능이라는 말은 '사람이 빚어낸 지능'이라는 뜻을 품고 있다. 그렇다면 정말 컴퓨터가 사람의 뇌처럼 사고를 통해 글을 만들어 내고, 그림을 그리고, 음악을 지어내는 것일까? 그건 아니다. 대신 사람이 생각하고 행동하는 것과 비슷한 결과물을 내도록 만들어진 기술이라고 보는 쪽이 정확하다. 그리고 그 과정도 실제 우리의 뇌를 구성하는 뉴런들이 작용하는 것을 본따 만들어진다.

생성형 AI에 대한 고도화에 뒤따르는 여러가지 고민 거리 중 가장 큰 것은 역시 '컴퓨팅 파워'다. 챗GPT를 운영하는 오픈 AI는 수 만 대의 GPU를 쓰고 있고, AI 기업들 뿐 아니라 국가들까지 앞다투어 GPU 확보에 열을 올리는 것이 현재의 컴퓨팅 시장의 상황이다.

현재로서는 AI를 처리하는 가장 좋은 방법은 GPU의 작은 코어들에게 일을 나누어 주는 병렬 연산에 있고, 오랫동안 인공지능과 관련된 대부분의 기법들이 이 GPU를 중심으로 처리되어 오면서 사실상 'AI = GPU'라는 상관 관계가 만들어진 것이다.

그런데 돌아보면 PC의 구조는 CPU와 메모리, 저장장치, 그리고 GPU로 이루어졌다. PC에는 이미 무시할 수 없는 수준의 GPU가 들어가 있고, '고성능 게이밍 PC'의 또 다른 이름은 'AI 워크스테이션'이라고 할 수 있을 만큼 비슷한 구조를 갖고 있다. 이미 PC는 'AI PC'라는 이름이 없어도 인공지능에 최적화가 되어 있는 상황이다.

서피스 프로 AI 노트북. 사진=마이크로소프트

#첫 발 뗀 AI PC, 할 수 있는 일은 아직 제한적

AI PC, 혹은 코파일럿 PC로 불리는 새로운 형태의 PC들이 시장에 등장하고 있다. 이 PC들의 가장 큰 차이는 NPU, 혹은 뉴럴 프로세서로 불리는 별도의 인공지능 전용 처리장치가 더해지는 것이다. 인텔과 AMD는 기존의 프로세서에 NPU를 더해 AI PC용 프로세서를 내놓고 있다. 마이크로소프트가 지속적으로 신경 쓰는 ARM 아키텍처 기반 PC에 쓰이는 퀄컴 프로세서 역시 자체적으로 AI 엔진을 품었다. 넓게 보면 애플은 M1 프로세서 이후의 모든 맥이 뉴럴 엔진을 품고 있는 AI PC다.

마이크로소프트는 40TOPS, 1초에 40조 번의 정수 연산을 처리할 수 있는 NPU를 품고 있는 PC에 대해 '코파일럿+PC'라는 이름의 별도 인증을 해 주고 있다. 윈도우11은 이를 통해서 화상 회의 중에 배경 흐림 처리를 하거나, 오디오의 잡음을 줄이고, 카메라에 비치는 시선이 카메라를 통해 눈을 맞추는 것처럼 보이도록 하는 효과를 입힌다. 또한 윈도우11의 이용 내역을 모두 기록하고 분석하는 '리콜(Recall)'을 비롯해 코파일럿 대화 등에도 이 프로세서의 역할을 단계적으로 더할 계획이다.

하지만 윈도우는 생성형 AI에는 아직 직접적으로 NPU를 쓰지 않는다. AI PC에 기대하는 부분 중 하나가 대규모 언어모델이나 이미지 AI 등 생성형 AI이지만 현재의 NPU는 역할이 다소 다르다. 기술적으로 풀어보면 현재의 NPU는 행렬을 통한정수 연산에 최적화되어 있다. 반면 일반적인 생성형 AI는 부동소수점을 비롯해 다양한 형태의 범용 연산을 모두 처리할 수 있다.

현재 생성형 AI의 뼈대를 이루는 '트랜스포머' 알고리즘은 단어를 비롯해 학습하는 모든 것들 사이의 관계를 입체로 구성하고, 그 사이의 관계를 거리로 표현한다. 이 과정을 흔히 '학습(Training)'이라고 부르는데, 이 과정에서 막대한 컴퓨팅 파워가 필요하고, 반대로 이렇게 만든 모델을 통해 새로운 결과물을 뽑아내는 '추론(inference)'에도 높은 GPU 성능이 필요하다. 대부분의 대규모 언어 모델 서비스들이 단어 하나씩 천천히 답을 내는 이유도 컴퓨팅 파워와 관련이 있다.

이 같은 처리는 NPU 대신 GPU가 훨씬 높은 성능을 낸다. 실제로 현재 AI PC들도 대규모 언어 모델이나 이미지 생성에는 모두 GPU를 이용해서 연산을 처리한다. AI PC라고 불리지만 GPU에 대한 의존도는 전혀 줄어들지 않는다고 보면 된다. 단적으로 스테이블 디퓨전으로 이미지를 만들 목적으로 PC를 구입한다면 AI PC보다 GPU 성능이 뛰어난 PC를 고르는 편이 옳다.

#GPU가 있다면 NPU는 무용지물?

현재 PC에 달린 GPU는 대체로 NPU보다 더 높은 성능을 낼 뿐 아니라 더 다양한 방법의 연산을 처리할 수 있다. 한 마디로 더 나은 프로세서라는 이야기다. 그렇다면 AI PC의 핵심인 NPU는 의미가 없는 걸까? 전혀 그렇지 않다. 오히려 꼭 필요한 흐름이다. 다만 그 역할을 분명히 할 필요가 있다.

AI PC가 등장하게 된 배경은 인공지능의 여러 갈래 중에서 개인화와 밀접하게 관련이 있다. NPU가 처음 적용된 제품은 2017년 출시된 애플의 A11 바이오닉 프로세서다. 이 칩은 아이폰X에 적용되어 페이스ID로 얼굴을 인식하고, 실시간으로 화면에 필터를 더하는 등의 역할을 맡았다. 하지만 실제 가장 중요한 역할은 기기 이용자의 습관 분석이다.

애플 와치에 탑재된 활력 징후 앱. 사진=애플

스마트폰은 가장 개인화된 기기다. 화장실이나 잠자리까지 함께 할 정도로 늘 옆에 함께 있으면서 일거수일투족을 기록한다. 기본적으로 개개인의 계정으로 운영체제에 로그인하게 되고, 기기는 쉴 새 없이 위치 정보를 기록한다. 검색어와 키보드 입력으로 어떤 관심사를 입력하는지 읽을 수 있고, 그날 그날의 일정이나 가까운 사람이 누구인지도 스마트폰은 잘 알고 있다. 사진도 찍고 음악 취향에 자주 마시는 커피가 무엇인지도 스마트폰을 통해 기록된다.

이런 개인정보 분석 기반의 인공지능 서비스는 편리함과 동시에 감시에 대한 두려움이 존재한다. 이를 해소할 수 있는 기술적 보안 장치들이 더해지는 것과 별개로 불편한 골짜기나 과도한 해석, 그리고 개인정보 보관 등 인공지능이 주는 심리적 거부감이 남아 있다.

스마트폰 운영체제를 만드는 애플과 구글은 이 개인정보를 아주 민감하게 다뤄 왔다. 애플은 온라인과 클라우드에 저장되는 개인정보 뿐 아니라 기기 내부의 보안에 대해서도 철저하게 대응한다. 특히 개인 정보, 생체 정보 등 민감한 데이터는 일체 외부로 나가지 않도록 처리했다. 또한 예민한 정보들은 프로세서 내부의 별도 공간에 저장해 애플조차도 접근할 수 없도록 만들었다. 개인정보 보호를 강조해 온 애플도 개인정보의 접근에 대해서는 상당히 오랜 시간이 걸렸다. 서서히 분석의 정도와 범위를 넓히면서 지금의 공감대를 만들어 낸 셈이다.

뉴럴 엔진을 A11 프로세서에 넣은 뒤로는 스마트폰에 기록되는 정보들의 연관성과 맥락을 기기 내부에서만 분석해 새로운 경험을 만들어내기도 했다. 캘린더에서 약속 시간과 장소를 읽고, 아이폰의 위치 정보와 지도의 교통 상황을 한 데 합쳐 다음 약속 장소에 늦지 않고 도착할 출발 시간을 미리 알려주는 기능을 예로 들 수 있다. 다소 예민한 해석 결과이지만 이 정보는 기기가 만들어낸 것이고, 해당 내용이 온라인 어디에도 전송, 공유되지 않는다.

음성 비서 서비스인 시리는 애초 언어 모델 때문에 음성 내용이 녹음되어 서버로 전송된 이후에 분석 결과를 받아오는 식이었지만 iOS15부터는 기기 제어를 비롯해 간단한 일들에 대해서는 기기 자체에서 이해할 수 있도록 바뀌기도 했다.

구글과 안드로이드의 정책도 애플과 크게 다르지 않다. 여전히 구글은 많은 개인정보를 클라우드에 보관하지만 보관 정책에 대해서는 점차 보수적으로 바뀌는 추세다. 또한 애플과 마찬가지로 개인정보 보호와 인공지능의 윤리를 맨 앞에 두고 안전한 개인정보에 대한 정책을 이야기한다.

AI를 탑재한 구글 픽셀폰. 사진=구글

이는 구글이 직접 개발하는 픽셀 스마트폰에서도 잘 드러난다. 픽셀은 기기에서 나오는 모든 영어 음성을 자막으로 만들어주는 실시간 자막을 비롯해 주변에서 흘러 나오는 음악의 제목을 알려주는 '나우 플레잉(Now Playing)'부터 문자메시지에 대한 자동 답변과 사진 분석 등을 모두 기기 내부에서 처리한다. 이른바 '온 디바이스 AI(On Device AI)'다.

#개인정보 신뢰도 높이는 온 디바이스 AI

온 디바이스 AI는 말 그대로 기기 안에서 인공지능과 관련된 일들을 처리하는 것이다. 영상 통화에 필터를 입히거나 사진 촬영을 돕기도 하고, 주변의 음악에 귀를 기울이는 범용 용도도 있지만 온 디바이스 AI의 가장 큰 목표는 개인 정보의 안전한 처리에 있다.

일반적으로 머신러닝 기반의 AI는 모델의 크기와 학습, 처리 등

마이크로소프트 클라우드 이미지. 사진=마이크로소프트

을 위해 대규모의 인프라가 필요하다. 이 때문에 스마트폰처럼 작은 기기에서는 대부분의 정보를 클라우드로 전송해서 처리한다. 하지만 민감한 개인정보가 클라우드로 전송되고, 해석되는 것은 거부감이 들 수밖에 없다. 온 디바이스 AI는 이를 기기 안에서만 처리하고, 그 기반이 되는 기본 정보부터 해석 과정, 결과 모든 것이 기기 외부로 전송되거나 저장되지 않는 것이 핵심이다. 이를 위해 모델의 역할을 제한해 크기를 줄이고 기기에서 효과적으로 처리할 수 있는 방법들이 고민됐다.

스마트폰에 NPU가 도입되기 이전에는 실시간 AI 처리가 쉽지 않았다. 중요한 정보들은 휴대폰이 쉴 때 해석되는 경우들이 많았다. 주로 GPU가 활용되다 보니 전력 소비량이 많아 주로 기기가 충전이 이뤄지는 동안에 처리되는 것이 일반적이었다. NPU의 수요는 바로 이 전력 소비와 밀접하게 관련된다고 볼 수 있다.

사실 GPU의 성능이 높아지면서 GPU를 이용해서도 AI 학습과 추론을 할 수 있지만 문제는 전력 소비다. 스마트폰은 전력 소비에 예민할 수밖에 없는데 지속적인 AI 처리가 요구되면 프로세서는 쉴 새 없이 작동할 수밖에 없다. 배터리를 중심으로 움직이는 스마트폰으로서는 전력 소비가 늘어나는 것이 치명적일 수밖에 없다.

NPU는 정형화된 정보들을 해석하는 데에 초점이 맞춰져 있다. 스마트폰에서 실시간으로 처리해야 하는 정보들은 대부분 표에 담을 수 있는 형태의 데이터이고, NPU는 이를 처리하는 행렬 연산을 더 작고 효율적으로 처리할 수 있는 전용 연산 장치로 개발이 이뤄졌다. 이 범위를 넘어서는 인공지능 처리는 기기 내부의 GPU와 클라우드를 통해 처리하도록 한다.

현재 애플이 고민하는 '애플 인텔리전스'가 이 복합적인 기법을 이용하는 모델이다. 기본적인 개인정보 기반 해석은 NPU를 통해서 처리하고, 글을 짓거나 이미지를 만들어내고, 이메일을 요약해 답장을 만들어내는 등 생성형 AI의 영역은 GPU를 함께 활용한다. 하지만 기기 안에서 처리할 수 있는 범위를 넘어서는 내용이 필요하면 애플의 보안 클라우드 영역으로 익명화된 정보가 전송되어서 머신러닝 연산만 빠르게 처리한 뒤 전송된 정보는 삭제된다. 애플의 모델이 처리하지 못하는 더 큰 인공지능이 필요하다면 이용자의 동의를 거쳐 챗GPT 등의 외부 모델을 이용하는 것도 병행한다. 모바일 기기의 환경 안에서 최적의 처리 방법이라고 할 수 있다.

#AI PC와 온 디바이스 AI의 접점

현재 AI PC도 이 단계에 서 있다. 마이크로소프트는 오랫동안 운영체제를 개인화하려고 노력해 왔다. 그 과정에는 PC 뿐 아니라 모바일 운영체제와 마이크로소프트 365 등 훨씬 더 넓은 범위가 고민되었지만 마이크로소프트는 직접적으로 모바일 시장에 안착하지 못하면서 마이크로소프트 365를 중심으로 개인 정보를 확보하고 이를 아이폰과 안드로이드 등 모바일부터 PC 운영체제까지 확장해 나가고 있다. 마이크로소프트는 생성형 AI에 더 특화되어 있지만 개인화에 대해서는 아직은 불리한 것이 사실이다.

마이크로소프트가 실질적으로 인공지능을 가장 잘 풀어낼 수 있는 플랫폼은 여전히 PC다. 사람들은 여전히 PC로 문서를 다루고, 이메일을 쓴다. 스마트폰과는 조금 다르지만 여전히 공부와 업무 등 일상의 일들을 처리한다. 마이크로소프트는 그 과정들을 모두 해석하려는 움직임을 보여 왔다. 하지만 PC를 쓰는 모든 과정이 감시될 수 있다는 거부감이 뒤따랐다.

마이크로 소프트의 리콜 기능 예시. 사진=마이크로소프트 캡처

마이크로소프트는 이를 안전하게 처리하기 위해 코파일럿 PC의 NPU를 적극적으로 활용하는 '리콜(Recall)'로 보안과 편의성을 모두 노린다. 리콜은 이용자의 PC 활용 방법을 데이터, 로그, 스크린샷 등을 총체적으로 해석해 PC 활용의 맥락을 이해하는 기능이다. 예를 들어 이용자가 여행 정보를 검색하고 있었다면 윈도우11의 리콜은 이를 기억하고 있다가 '항공권'이나 '숙소', 혹은 '여행 정보' 등을 다시 찾으면 해당 여행지의 맥락을 읽어서 추가 정보를 찾아주거나 며칠 전에 방문한 예약 사이트를 제안해 주기도 한다. 마이크로소프트의 AI 서비스인 '코파일럿'의 이름처럼 하려는 일에 대해 직접적인 보조를 하는 것으로 적극적인 형태의 개인정보 해석이라고 볼 수 있다.

이를 위해서는 AI를 통한 실시간 학습과 추론이 지속적으로 필요한데, 노트북의 경우 스마트폰과 마찬가지로 경우 전력 소비라는 중요한 문제를 끌어 안고 있다. 노트북은 사실상 마이크로소프트의 플랫폼 중 가장 모바일과 개인화에 가까이 놓여 있는 하드웨어다. NPU가 포함된 AI 기반 프로세서는 안전한 개인화와 AI 처리 성능, 전력 소비라는 관점에서 모바일의 NPU와 그 맥락을 함께 한다.

MS 서피스 프로와 서피스 랩탑. 사진=마이크로소프트

그렇다면 지금 당장 AI PC를 꼭 사야 할까? 그건 아니다. 현재 리콜을 비롯한 코파일럿 PC의 주요 기능들은 NPU가 포함된 기기들에서만 작동하지만 장기적으로 이는 데스크톱 PC로, 또 제한적인 환경에서 노트북까지 확장될 것으로 보인다. 사실상 대부분의 GPU는 NPU를 뛰어넘는 AI 처리 능력을 갖추고 있기 때문이다. 성능은 충분하지만 AI를 다루는 GPU의 높은 전력 소비량이 PC 경험을 해칠 수 있기 때문에 현재로서는 AI PC를 위한 기능으로 구분하는 것으로 보인다. 대신 전력 소비에 제한이 없는 데스크톱 PC에서는 GPU의 전력에 대한 부담을 덜어낼 수 있다.

그와 별개로 NPU는 앞으로 나올 PC의 기본 요소로 자리잡게 될 가능성이 높다. 특히 현 시점에서는 NPU와 AI PC를 기능적인 측면보다는 보안과 전력 소비라는 측면에서 바라봐야 한다. 온 디바이스 AI에 대한 수요는 지속적으로 늘어가고 있고, 운영체제를 넘어 응용 프로그램 생태계 전체에서 NPU에 대한 수요도 넓어지는 추세다.

AI PC와 NPU는 인공지능에 대한 윈도우 생태계를 표준화하는 과정이다. GPU의 등장으로 CPU의 역할이 나뉘는 것을 넘어 AI 등 새로운 형태의 컴퓨팅 환경이 등장한 것처럼 NPU는 단순한 컴퓨팅으로 시작했지만 AI의 활용 영역을 넓히는 기술적인 방법이 될 것이다. AI PC는 이를 플랫폼으로 규정하는 단계이고, PC가 이름처럼 진짜 개인용 컴퓨터가 되는 또 하나의 단계다.

<저작권자 Copyright ⓒ 디지털포스트(PC사랑) 무단전재 및 재배포 금지>