[갤럭시 언팩 2024] 초대형 AI를 어떻게 스마트폰에 구현했을까, 삼성전자 김영집 AI 팀장 기자간담회

갤럭시S24가 초거대 AI 모델(LLM), 가우스AI를 품기위해서는 생각보다 오랜 고민과 노력이 필요했다.

삼성전자 MX사업부 AI 팀장인 김영집 부사장은 18일(현지시간) 미국 삼성리서치아카데미(SRA)에서 개발 과정을 소개했다.

김 부사장은 AI가 대중적으로 관심을 받기 이전부터 AI를 개발해왔다며 운을 뗐다. 처음으로 NPU를 활용하기 시작한 것도 2019년 갤럭시S10부터, AI 기술을 어떻게 의미있게 활용할 수 있을지 고민해왔다고 말했다.

◆ 온 디바이스 AI 왜?

김 부사장은 갤럭시 AI 경험 지향성을 4가지 축으로 설명했다. ▲생산성 ▲소통 ▲창의성 ▲즐거움 등이다. 이를 위해 자체 개발한 기술뿐 아니라 파트너 기술까지 모두 결합하기로 했다며, 실생활에서 AI를 의미있게 사용할 수 있도록 챗봇 아이콘 등 다양한 방안을 고민했다고도 덧붙였다.

우선 스마트폰 기본이며 일상에서 쓰는 기능인 전화와 문자에 주목, AI 기술로 언어 장벽을 없애는 실시간 통역을 도입하기로 결정했다. 이어서 업무에서 자주 쓰이는 녹음과 노트 기능도 추가했다.

안심하고 쓸 수 있어야 한다는 목표도 정했다. 데이터 노출 우려를 없애고 네트워크 환경이 없는 곳에서도 안심하고 사용할 수 있도록 만들자고 뜻을 모았다.

'온 디바이스 AI' 개발에 집중한 이유다. 김 부사장은 AI를 기계 안으로 가지고 오면 안전한 환경에서 AI를 제공할 수 있다고 보고 개발에 나섰다. 들고 다니는 기계에서 편하게 쓸 수 있도록 보이스 기능에도 힘을 쏟았다.

◆ 갤럭시S24에 최적화

하드웨어가 문제였다. NPU 성능이 수준급으로 올라섰어도 LLM을 그대로 구동할 수는 없었기 때문. 온 디바이스 AI를 구현하기 위해서는 여러 작업을 거쳐야했다.

우선 AI 데이터 크기를 대폭 압축했다. 서버에서 32비트로 개발된 AI를 3비트로, 대형언어모델(LLM) 파라미터도 32비트에서 4비트로 줄였다. 그러면서도 성능 열화가 생기지 않도록 다양한 기술을 적용했다.

애플리케이션 프로세서(AP)에도 최적화했다. '엑시노스2400'과 '스냅드래곤 3세대 포 갤럭시' 개발 단계부터 참여해 가우스AI와 구글 제미나이까지 제대로 성능을 낼 수 있도록 했다.

갤럭시S24가 '갤럭시AI'를 가장 잘 구동할 수 있는 이유도 이 때문이다. 김 부사장은 갤럭시S24에서 모든 AI 성능을 제대로 발휘할 수 있다며, 상반기 중으로 다른 모델에도 적용되지만 완전한 성능을 내기는 어렵다고 봤다. 엑시노스 기반으로 알려진 AP 텐서를 탑재한 구글 픽셀 역시 마찬가지라며, 타사 모바일폰에 개방하기 어려운 이유로 들었다.

◆ AI 모델도 새로 개발

갤럭시AI 실시간 통역이 자랑하는 다국어 지원, 삼성전자는 이를 원활하게 작동할 수 있도록 AI 모델도 새로 개발해야만 했다.

김 부사장은 갤럭시AI가 다양한 모바일 환경에서도 언어를 인식할 수 있도록 만드는데 중점을 뒀다고 밝혔다. 종전에는 특정 언어를 기준으로 학습해 단순히 성능을 극대화하는데 중점을 뒀지만, 갤럭시 AI는 일상에서 말을 인식하는 것처럼 소리부터 학습하고 언어를 구별할 수 있도록 했다. 다양한 언어로 말을 해도 더 정확하게 들을 수 있는데다가, 항상 녹음 환경이 다르고 소음에 노출된 스마트폰에서도 인식률을 높일 수 있다. 따로 언어를 선택하면 더 높은 성능을 기대할 수 있는 것도 이 때문이다.

실시간 통역을 위한 음성을 내는 기술에도 공을 들였다. 딱딱한 기계어가 아닌 사람이 말하는 것과 같은 효과를 내기 위해 발성하는 것과 같이 음성을 합성할 수 있도록 했다.

노트 어시스트도 마찬가지다. 더 정확하게 녹음할 수 있고, 녹음본을 벗어나 원하는 내용을 검색하는 등으로 번역과 요약 등 기능을 극대화했다.

◆ 윤리 의식도 준수

김 부사장은 대형 모델 AI에 논란이 커지고 있는 윤리 문제에 대해서도 강조했다. AI를 개발할 때 데이터 수집과 활용, 생성까지 ▲공정성▲투명성▲책임성 등 3대 축을 중심으로 책임감을 갖고 윤리 규칙을 만들어 준수하고 있다.

갤럭시S24로 만든 이미지를 저작권 걱정 없이 활용할 수 있는 것도 이런 원칙 덕분이다. 김 부사장은 충분히 검토한 데이터를 활용하는 것은 물론, 문제 소지를 없애기 위해 생성된 이미지에는 워터마크와 메타 데이터도 추가하도록 조치했다. 문장을 생성할 때도 불필요한 문장을 최소화할 수 있도록 세이프티 가드를 탑재했다.

보안 문제에 대해서도 특히 자신감을 보였다. 온 디바이스 AI에 더해 검증된 삼성 녹스로 보안성을 높였고, 클라우드 사용 여부를 선택할 수 있게하기도 했다. 추후 개인화된 AI 요구가 있을 수는 있다면서도, 일단은 사용자 패턴을 확인하지 않도록 해 개인정보 유출 우려도 원천 차단했다.

그러면서도 업그레이드는 꾸준히 이어간다. 자체적으로 기능을 개선해 업데이트 방식으로 제공할 예정, 꾸준히 늘어나는 신조어도 업데이트 계획에 포함한다.

◆ 사업 모델은 고민

삼성전자 MX사업부장 노태문 사장과 마찬가지로 김 부사장 역시 일단은 갤럭시AI 유료화 가능성을 일축했다. AI가 급속하게 발전하고 있어서 서비스 자체가 어떻게 확장되고 바뀔지 상상도 할 수 없기 때문에 비용을 책정할 수 없다는 이유다. 2025년 말까지 무료 제공 기준을 유지한다는 방침도 임시로 명시했을 뿐 아직 아무런 계획이 없다고 밝혔다.

다만 비용 부담이 생각보다 많다는 우려는 숨기지 않았다. 단순한 소프트웨어로 보이지만 많은 컴퓨터와 에너지를 사용하고 과정도 복잡하다는 것. 소비자들이 잘 느끼지 못하지만 업데이트 역시 많은 노력이 필요함을 토로했다.

그럼에도 삼성전자는 소비자들에 기술을 기반으로 의미있는 가치를 제공하는 것을 목적으로 한다며, 일단은 투가 가치가 충분하다고 판단했다는 입장을 밝혔다. 갤럭시가 단순 기기가 아닌 다른 사람들과 연결하고 나에 맞는 기능을 쓸 수 있는 디바이스라며 사용자 중심 개발 원칙도 강조했다.

갤럭시AI를 활용한 통화앱이 업데이트를 지속하더라도 더 비대해지지는 않는다고도 말했다. 기본앱이면서도 용량이 커질 수 있지 않겠냐는 질문에, AI는 학습해도 용량이 늘지 않는다고 설명했다.

스마트폰 뿐 아니라 모든 기기로 갤럭시AI가 확대될 것이라고도 예고했다. 타블렛과 워치 등 웨어러블은 물론, TV와 가전 등으로 순차 확대할 예정이라며 모든 사용자에 AI를 지원할 수 있을 것으로 내다봤다.

김영집 부사장은 "갤럭시 AI는 생산성, 커뮤니케이션, 엔터테인먼트 등 다양한 일상에서 한층 더 향상된 경험을 제공할 것"이라며 "대규모 언어 모델 솔루션 개발을 위해 업계 파트너들과 협업하고 갤럭시 AI 기능 향상에 지속적으로 노력하고 있다"고 말했다.