애플, AI로 앱 인터페이스 이해하는 비전언어모델 'ILuvUI' 선봬

[AI리포터]

애플이 모바일 앱 UI를 이해하도록 훈련된 비전언어모델을 소개했다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 애플이 핀란드 알토 대학교와 협력해 인공지능(AI)이 모바일앱 인터페이스(UI)를 이해하도록 훈련된 비전언어모델(VLM) 'ILuvUI'을 소개했다. 이 모델은 스크린샷과 자연어 대화를 통해 앱 UI를 학습하며, 기존 AI보다 뛰어난 성능을 보인다고 한다.

15일(현지시간) IT매체 나인투파이브맥에 따르면 기존 AI는 자연 이미지를 인식하는 데 강점을 보였지만, 앱 UI처럼 구조화된 환경을 해석하는 데는 한계를 보였다.

이에 애플 연구팀은 오픈소스 VLM 라바(LLaVA)를 기반으로 UI 도메인에 특화된 데이터로 모델을 개선했으며, Q&A 스타일 상호작용, 화면 설명, 예측 행동 결과, 멀티스텝 계획을 포함한 데이터셋을 구축했다.

이를 통해 ILuvUI는 기존 라바보다 뛰어난 성능을 입증했으며, 특히 사용자가 특정 화면 영역을 지정하지 않아도 전체 화면을 맥락적으로 이해할 수 있다는 점이 주목된다.

애플 연구팀은 ILuvUI가 접근성 향상과 자동 UI 테스트에 활용될 가능성이 높다고 평가했다. 또한, 향후 더 큰 이미지 인코더, 고해상도 처리, JSON 등 기존 UI 프레임워크와의 연동을 통해 모델을 발전시킬 계획이다. 최근 애플이 AI를 활용해 앱 내 행동을 예측하는 연구도 진행 중인 만큼, ILuvUI와 결합하면 접근성을 높이고 사용자 경험을 혁신할 가능성이 크다는 평가다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>