퀄컴과 한 AI 스타트업 간의 협력이 AI가 가장 필요한 영역, 즉 기기 내에 저장된 사진과 영상을 정보 자원으로 활용해 빠르게 검색할 수 있는 기술을 현실로 만들고 있다.
현재 이 협력은 미래 상용화를 위한 기반 단계로, 메모리즈닷에이아이(Memories.ai)는 퀄컴과 함께 ‘LVMM 2.0(Large Visual Memory Models 2.0)’을 선보였다. 양사는 2026년을 목표로 이 기술을 상용화할 계획이며, 이후 스마트폰·헤드셋·PC용 애플리케이션을 개발하는 고객사를 대상으로 기술을 제공할 예정이다.
메모리즈닷에이아이는 자사 기술이 삼성 갤러리(Samsung Gallery) 같은 스마트폰 기본 사진 앱에 적용될 가능성도 염두에 두고 있다. 메모리즈닷에이아이는 스마트폰 내장 이미지 관리 시스템을 AI로 고도화하는 협력 모델을 구상 중이다.
메모리즈닷에이아이의 공동창립자이자 CEO인 션 셴은 “사람은 경험의 세부 사항을 정확히 기억하지 못하지만, 시각적 단서는 그 기억을 되살리는 열쇠가 된다. 예를 들어 2주 전 먹었던 햄버거 사진 한 장이 ‘어디서, 누구와, 무엇을 먹었는지’까지 모두 떠올리게 하는 것처럼, AI도 이미지로 맥락을 복원하도록 설계됐다”라고 설명했다.
이어 “기계는 단어나 데이터 간의 관계를 인식하는 데는 매우 뛰어나지만, 이미지 간의 연관성을 이해하는 능력은 아직 부족하다. 메모리즈닷에이아이가 해결하려는 과제는 바로 그 지점”이라고 덧붙였다.
셴은 “결국 기억이 승리할 것”이라고 말했다.
메모리즈닷에이아이가 개발 중인 핵심 기술은 ‘인코더(Encoder)’와 ‘검색 인프라(Search Infrastructure)’ 두 가지다. 이 기술은 사용자가 친구나 가족에게 보여주는 실제 이미지나 영상을 직접 구동하는 것이 아니라, 해당 이미지·영상의 정보적 가치에 초점을 맞춘 최적화된 버전을 생성해 저장한다. 이렇게 변환된 데이터는 검색 인프라로 전달되며, 사용자가 “한국에서 친구들과 저녁 먹은 사진”과 같은 자연어 질의를 입력하면 맥락에 맞는 이미지나 영상을 찾아주는 방식이다.
메모리즈닷에이아이는 영상까지 자연어로 검색하고 질의하는 기능을 포함한 기술 데모도 공개했다. 시연에서는 사용자가 일상적인 문장으로 요청을 입력하면 AI가 사진뿐 아니라 영상 속 장면까지 인식해 관련 결과를 즉시 찾아주는 과정이 함께 소개됐다.
사진 검색과 질의 기능
메모리즈닷에이아이의 기술은 현재 두 가지 방향으로 발전하고 있다. 우선 이번 퀄컴과의 협력은 기기 내에서 작동하는 사진·영상 검색 기능을 한 단계 발전시키는 것에 초점을 맞추고 있다. 즉, 구글 포토(Google Photos)와 유사하지만 더 빠르고, 더 개인화된, 그리고 클라우드에 의존하지 않는 ‘프라이버시 중심의 대안’을 만드는 것이 목표다. 일부 스마트폰 기본 갤러리 앱이 인물이나 장소 정보를 자동으로 태그하는 것처럼, 메모리즈는 AI가 실시간으로 이미지를 분석해 즉석에서 태그를 생성하는 방식을 구현하고자 한다.
셴은 메모리즈닷에이아이의 인코딩 기술이 상시로 작동하며 현실 세계에서 얻은 정보를 지속적으로 추출할 수 있다고 설명했다. 다만 이런 ‘지속 녹화’ 기능이 퀄컴의 XR 플랫폼이나 스마트 글래스 등 휴대용 기기에서 바로 적용될 계획은 아니며, 오히려 보안 카메라나 모니터링 장비에 더 적합한 기능이라고 덧붙였다.
메모리즈닷에이아이 기술의 두 번째 주요 기능은 AI와 대화하듯 상호작용할 수 있는 ‘질의형 인터페이스’다. 이는 오터닷에이아이(Otter.ai)의 음성 전사 서비스처럼, 특정 기록이나 영상에 대해 사용자가 자연어로 질문을 던지고 AI가 그에 맞는 답변을 제공하는 방식이다.
셴은 “피자가 마지막으로 배달된 시점은 언제였는지, 집 주변에서 의심스러운 일이 발생한 적이 있는지, 반려견이 꽃병을 넘어뜨린 게 언제였는지 같은 질문을 자연어로 던지면, AI가 카메라에 기록된 개인 미디어 파일을 기반으로 바로 답변할 수 있다. 물론 이런 정보 중 일부는 캘린더나 이메일 예약 기록을 통해서도 확인할 수 있다. 하지만 사진이나 영상에는 그보다 훨씬 풍부한 맥락이 담겨 있다고 믿는다”라고 설명했다.
 |
메모리즈닷에이아이의 자연어 인터페이스Memories.ai |
이번 퀄컴과의 협력은 메모리즈닷에이아이 팀이 칩 제조사와 공개적으로 손잡은 첫 사례다.
퀄컴 제품 관리 부사장이자 생성형 AI 총괄인 비네시 수쿠마르는 성명을 통해 “이번 협력을 통해 반응 속도뿐 아니라 맥락 인식 능력을 갖춘 AI 플랫폼을 구현할 수 있게 됐다. AI가 시각 정보를 장기간 기억하고, 패턴을 인식하며, 네트워크 연결이 제한된 환경에서도 안정적으로 작동할 수 있도록 지원할 것이다. 퀄컴과 메모리즈닷에이아이는 더 똑똑하고 직관적인 지능을 현실 세계의 애플리케이션에 적용한다는 공동의 목표를 한층 앞당기고 있다”라고 말했다.
퀄컴 내부 관계자들에 따르면, 회사는 이번 메모리즈닷에이아이와의 협력에 “매우 큰 기대”를 갖고 있다. 퀄컴은 메모리즈의 기술이 단순한 이미지 검색을 넘어 영상 내부 검색은 물론, 향후 영상 편집 기능까지 확장될 잠재력이 있다고 보고 있다. 또한 메모리즈 모델이 충분히 가벼워 로컬 디바이스에서 직접 구동 가능하다는 점도 큰 장점으로 평가된다. 이를 통해 클라우드 연결 없이도 검색을 수행할 수 있으며, 서버와의 통신 과정에서 발생하는 지연 문제도 제거된다.
이번 협력에서 구체적으로 어떤 퀄컴 프로세서를 대상으로 하는지는 공개되지 않았다. 다만 셴에 따르면, 인코딩 과정은 로컬 NPU에서 실행되며, 검색·질의 수행은 CPU가 데이터베이스에서 정보를 불러오는 방식과 유사하다. 한편 퀄컴은 최근 PC용 스냅드래곤 X2 엘리트(Snapdragon X2 Elite) 프로세서와 스마트폰 및 모바일 기기용 스냅드래곤 8 엘리트 젠 5(Snapdragon 8 Elite Gen 5) 칩셋을 새롭게 공개한 바 있다.
셴은 “장기적으로는 메모리즈닷에이아이가 자체 애플리케이션을 직접 개발할 계획”이라고 밝혔다. 다만 당분간은 퀄컴과 함께 협력해 2026년부터 웨어러블 기기·스마트폰·카메라 제조사를 대상으로 메모리즈 기술 탑재를 제안하는 단계에 돌입할 예정이라고 설명했다.
dl-itworldkorea@foundryco.com
Mark Hachman editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.